Группа исследователей из Мичиганского университета при поддержке Google, ARM, DARPA и Национального научного фонда США разработала открытый интеллектуальный персональный ассистент Sirius, использующий средства для распознавания речи и образов для формирования ответов на произвольные вопросы пользователей, заданные на естественном языке. По своим возможностям Sirius напоминает системы Apple Siri, Google Now и Microsoft Cortana, и также позволяет выдавать на обычном языке информацию, полученную в виде голосовых запросов или изображений. Код проекта распространяется под лицензией BSD.

В пакет входит приложение Sirius, которое можно протестировать в Ubuntu, надстройка для работы с Sirius через Web и набор базовых компонентов с реализацией различных алгоритмов поиска и распознавания. Основной код написан на языке С++, но для работы требуется достаточно большое число внешних компонентов, некоторые из которых написаны на Java. Для ускорения обработки данных на естественном языке в Sirius поддерживается использование различных технологий, таких как вынос вычислений на сторону GPU при помощи NVIDIA CUDA, задействование FPGA и применение специализированных сопроцессоров Intel Xeon Phi.

База данных для формирования формируется на основе Wikipedia. Для распознавания речи используются наработки проектов Sphinx, Kaldi и RASR. При построении базы знаний применяется фреймворк машинного обучения Caffe. Система понимания вопросов и нахождения возможных ответов основана на фреймворке OpenEphyra, который уже успешно применялся компанией IBM в суперкомпьютере Watson, выигравшем соревнование Jeopardy. Для распознавания изображений задействован алгоритм SURF.

Источник: http://www.opennet.ru/opennews/art.shtml?num=41870