После 16 месяцев разработки увидел свет релиз распределенной файловой системы XtreemFS 1.5. XtreemFS позволяет организовать работу хранилища с распределением данных по нескольким серверам. Для обеспечения отказоустойчивости и обеспечения параллельного доступа данные могут реплицироваться между узлами. Процесс репликации оптимизирован для использования низкоскоростных соединений и возможных временных обрывов связи. Компоненты XtreemFS распространяются под лицензией BSD.

При помощи XtreemFS в том числе можно обеспечить синхронизацию хранилища на нескольких серверах в разных дата-центрах. Предоставляется возможность гибкого контроля и управления работой ФС через подключение плагинов. Возможно создание снапшотов и бэкапа метаданных в асинхронном режиме. Для защиты передаваемых по сети данных от перехвата поддерживается использование SSL. Расширение размера хранилища производится через подключение к распределенному хранилищу дополнительных узлов хранения.

Серверная часть XtreemFS, обеспечивающая управление метаданными, написана на языке Java. Клиент для работы с XtreemFS написан на С++ и доступен для Unix-подобных ОС, Windows и Mac OS X. Клиентская часть ФС работает в пространстве пользователя (user-space) с использованием FUSE. Для приложений работа с XtreemFS мало чем отличается от NFS (XtreemFS может использоваться как замена NFS), так же нет отличий от того, является ли файл реплицированным на локальную систему или доступен только с удаленного хоста.

Из новшеств, добавленных в XtreemFS 1.5, можно отметить:

  • Улучшена поддержка платформы для организации распределённой обработки больших объёмов данных Hadoop. Добавлена дополнительная буферизация чтения и записи для увеличения производительности небольших запросов. Реализована поддержка работы с несколькими разделами для организации хранения данных для ввода и вывода в разделах с разными правилами репликации;
  • Добавлены оптимизации для организации оптимального хранения данных на SSD-накопителях. Ранее система была рассчитана на использование жестких дисков и применяла однопоточный метод доступа, учитывающий вращение дисков. Для SSD реализована возможность одновременного обращения в несколько потоков, что позволяет добиться более высокой пропускной способности;
  • Поддержка Multi-Homing для организации работы XtreemFS поверх разных сетей с предоставлением средств для автоматического получения клиентом корректного адреса для обращения к хранилищу;
  • Возможность создания нескольких хранилищ объектов (OSD) на одном сервере. Таким образом, для каждого диска на сервере может быть запущен отдельный OSD. Для упрощения запуска серии OSD подготовлен init.d-скрипт xtreemfs-osd-farm;
  • Проведена работа по устранению ошибок в реализациях репликации, работающих в режимах "только чтение" или "чтение/запись". В частности, решены проблемы с отказоустойчивостью для файлов, реплицированных в режиме "чтение/запись", и устранена проблема с зависанием в режиме "только чтение";
  • Добавлена страница с наглядным отображением состояния репликации для открытых файлов;
  • Подготовлено руководство для быстрого знакомства с XtreemFS, в котором в том числе описывается простейшие примеры отказоустойчивых конфигураций и репликации данных.


Источник: http://www.opennet.ru/opennews/art.shtml?num=39315