Создатели проекта Skeltrack, в рамках которого развивается свободная библиотека для отслеживания в режиме реального времени перемещения конечностей человека перед камерой с датчиком глубины, представили прототип практической реализации интерфейса для организации управления GNOME 3 через систему пространственных жестов. Код управляющего интерфейса распространяется под лицензией GPLv3. Наглядно оценить возможности пространственного управления можно просмотрев специально подготовленный видеоролик.

Используя web-камеру с датчиком глубины, которой комплектуется устройство Kinect, разработчикам удалось организовать генерацию событий Xlib через распознавание типовых жестов. Например, можно перемещать курсор контролируя его позицию указательным пальцем, масштабировать окна и изображение через характерное разведение или сведение ладоней, выбирать объект, прокручивать содержимое окон, перемещать окна и т.п. Отдельный интерес представляет демонстрация возможностей Skeltrack для управления играми. В частности, показано как можно управлять автомобилем в игре Super Tux Kart, изображая руками вращение руля.

Для приёма видеопотока с данными глубины от камеры Kinect используется GFreenect, а для отслеживания движений рук задействована библиотека Skeltrack. Управляющие жесты воспринимаются путем анализа попадания руки в активную область, которая определена примерно в 30 см. от головы. Жесты достаточно интуитивны. Например, когда одна рука двигается осуществляется перемещение курсора; клик воспринимается когда одна рука находится в активной зоне, а вторая быстро входит и выходит из активной зоны; если вторая рука задерживается в активной зоне распознаётся нажатие и удерживание кнопки мыши, первая рука при этом может использоваться для перемещения объекта.

Источник: http://www.opennet.ru/opennews/art.shtml?num=33533