Разработчик инфраструктуры веб-робота

Для того чтобы поисковая база Яндекса оперативно обновлялась, веб-роботу требуется ежедневно обходить многие миллионы страниц в интернете и обрабатывать терабайты данных. Загрузка документов из интернета, управление потоками данных, сохранение данных и обеспечение доступа к ним – все это инфраструктурные задачи робота. Для решения этих задач требуется разработка распределенных высоконадежных и производительных приложений.

Обязательно:

• Хорошее знание и опыт промышленной разработки на C++;
• знание системных вызовов UNIX ОС (предпочтительно FreeBSD);
• опыт создания многопоточных приложений;
• опыт создания сетевых приложений;
• знание классических алгоритмов и структур данных.

Желательно:

• Опыт создания приложений, интенсивно использующих дисковую подсистему;
• опыт использования одного или нескольких скриптовых языков (bash, awk, perl);
• опыт создания отказоустойчивых приложений работающих 24x7;
• опыт создания распределенных приложений;
• знание протокола HTTP;
• опыт использования реляционных баз данных.

Условия:

• Работа в московском офисе Яндекса