Открыт исходный код поискового движка Gigablast
Движок, написанный на C/C++ и насчитывающий более 500 тысяч строк кода, открыт под лицензией Apache версии 2.0 и опубликован на Github. Движок Gigablast достаточно прост в использовании и сразу готов к работе - код компилируется в форму единого исполняемого файла, который может заменить собой достаточно сложные конфигурации поисковых сервисов, построенных с привлечением Hadoop, Cassandra, MySQL, NoSQL, MongoDB, Lucene, Nutch, Solr, Zookeeper и Apache. Исполняемый файл включает в себя в том числе реализацию высокопроизводительного web-сервера, СУБД и других компонентов, необходимых для обособленной работы движка.
Основные особенности:
- Движок масштабируется для развёртывания на тысячах серверов. Запущенная в эксплуатацию конфигурация из 200 серверов обрабатывает поисковый индекс из более чем 12 млрд web-страниц;
- Высокая надёжность, код находится в промышленном использовании с 2002 года;
- Поддержка кэширования web-страниц с выводом результатов из кэша с подсветкой найденных ключевых слов;
- Поддержка подключения плагинов для обработки различных видов документов, от HTML до PDF;
- Отображение в поисковой выдаче популярного контента;
- Встроенная система мониторинга и уведомления о проблемах;
- Поддержка подключения базы синонимов;
- Сохранение позиции и формата информации для каждого слова в проиндексированном документе;
- Отображение в результатах поиска полных весовых характеристик для найденного контента;
- Отдельная индексация текста, используемого в ссылках;
- Возможность связывания другим сайтом на базе движка Gigablast для формирования агрегированного вывода;
- Система автоматического удаления дубликатов из поисковой выдачи;
- Распределённый Web crawler. Гибкая система определения логики работы Crawler-а с возможностью управления приоритетом обработки элементов в очередях запросов;
- REST/XML API для интеграции с внешними сервисами;
- Средства автоматического выявления повреждения данных и восстановления узла после сбоя оборудования.
Источник: http://www.opennet.ru/opennews/art.shtml?num=37591
|
0 | Tweet | Нравится |
|