Что такое ElasticSearch-Hadoop (es-hadoop) и его преимущества перед HBase для живого веб-приложения?



Мне не совсем ясно, что такое es-hadoop из описания .

Является ли это просто "соединителем", который будет перемещать данные из вашего кластера ES в HDFS для Hadoop analytics? Если да,то почему бы просто не использовать HBase для текстовых запросов с низкой задержкой?

Отличается ли es-Hadoop от обычной ES?

Пожалуйста, некоторые разъяснения.

Спасибо.

186   1  

1 ответ:

ES-Hadoop гораздо ближе к тому, чтобы быть соединителем между экологической системой Hadoop и ES. Это не отдельный выпуск Эс.

В основном это улучшает интеграцию между приложением Hadoop eco-system и ES. В моей организации мы используем эту функцию для 2 целей:

  1. Перед индексированием данных в ES мы используем Spark для анализа данных и выполнения соответствующей агрегации, чтобы уменьшить объем индексирования, которое должно быть выполнено на ES. ES-Hadoop поможет нам индексировать непосредственно из Spark структуры данных для ES. Мы начинаем процесс индексирования с одной строки кода, и нам не нужно самим писать программу индексирования. (Эта функция настраивается, и вы можете индексировать данные по своему усмотрению).

  2. В нашей организации мы используем ES как наш кластер аналитики почти в реальном времени. Данные в ES размещаются таким образом, чтобы обеспечить наилучшую производительность для наших клиентов. Иногда (обычно, когда у нас есть идеи о некоторых новых функциях) мы должны получить данные из ЕС и выполнения какой-нибудь сложной обработки. В этих случаях мы также можем создать структуру данных Spark из данных ES в одной строке кода.

Таким образом, ES-Hadoop ближе к тому, чтобы быть хорошо написанным соединителем. Вы все еще должны транспортировать данные из вашего кластера ES в Hadoop.

Я не уверен в сравнении с HBase, вы не можете действительно сравнить функции HBase, который является хранилищем ключевых значений, по сравнению с ES, который является поисковой системой общего назначения + реализованы очень приятные аналитические возможности в последних версиях. На мой взгляд, мы имеем дело с различными инструментами, которые имеют доступ к различным наборам проблем.

    Ничего не найдено.

Добавить ответ:
Отменить.