Первым шагом на пути использования сенсора Microsoft Kinect вместе с ПК была разработка принципов работы с интерфейсом и изучение способов интеграции сенсора в среду настольного компьютера.
Если вторая задача была чисто технической и на момент начала разработки была достаточно хорошо изучена специалистами нашей компании, то с первой все было сложнее.
Требовалось выработать интуитивно понятный, удобный для большинства пользователей способ работы с ПК с помощью жестов. При этом обеспечивая стабильную и точную работу в непростых условиях. Если при традиционном способе работы с ПК пользователь напрямую работает с интерфейсом с помощью мыши и клавиатуры, то при использовании сенсора движений становится заметным влияние окружающего пространства. Например, других людей, предметов мебели, особенности освещения.
Поэтому для проверки выбранных на этапе проектирования решений было разработано отдельное приложении, которым можно управлять жестами рук. То есть задача работы с ПК была пока ограничена работой с одним единственным приложением. На нем можно было подобрать необходимые параметры, разработать правила неконтактного управления ПК.
Таким приложением стало «Сборка паззла». В нем в начале пользователь видит на экране разбитое на части изображение. Жестами рук он может перемещать эти фрагменты, пытаясь собрать из них целое изображение.
Таким образом, с помощью рук пользователь выполняет два действия:
- Захват и отпускание элемента на экране (фрагмент изображения)
- Перемещение захваченного объекта в пределах окна приложения
Демонстрацию работы с приложением «Сборка паззла» можно увидеть на приведенной видеозаписи.
 Скринкаст (9,1 МБ) |
Презентация (47,1 МБ) |