Предыдущие исследования показали, что такие интерфейсы обладают значительными преимуществами в скорости, точности и эргономике по сравнению с обычно используемыми «воздушными», которые накладывают на мира виртуальной реальности пользователя. Одна из проблем интерфейсов «на теле» заключается в том, что они обычно требуют использования специальных камер зондирования. Камеры отслеживают местоположение части тела в реальном мире. Чтобы упростить технологию, EgoTouch просто использует существующую оптическую RGB-камеру VR-гарнитуры.
Когда реальный палец пользователя нажимает на ладонь, камера улавливает возникающие тени и деформацию кожи. Сопоставляя местоположения этих визуальных индикаторов с виртуальным интерфейсом, отображаемым на ладони, можно определить, какие опции выбираются в мире VR. Для обучения алгоритма, команда Моллина попросила группу добровольцев нажимать указательным пальцем на различные места на ладони, надев на голову RGB-камеру.
У добровольцев были разные условия освещения, тон кожи и густота волос. Сопоставляя данные камеры с датчиком, алгоритм узнал, какие визуальные образы соответствуют реальному местоположению, интенсивности и продолжительности прикосновения. Моллин отметил, что впервые исследователи используют систему, которая просто использует камеру, уже установленную на всех существующих гарнитурах. Данные модели не требуют калибровки и начинают работать сразу, как пользователь достает их из коробки. Об этом сообщает New Atlas.
Источник: Carnegie Mellon University 