Многие камеры и смартфоны смотрят на жизнь через один объектив, но трехмерные карты глубины можно создавать с использованием информации, скрытой в данных 2D-фотографий (например, фокусных расстояний и информации о сенсоре). Система Depth Pro способна генерировать подробную 3D-карту глубины с разрешением 2,25 мегапикселей из одного изображения за 0,3 секунды с помощью стандартного графического процессора.
Архитектура модели ИИ включает в себя многомасштабный преобразователь зрения для одновременной обработки общего контекста изображения и более мелких деталей, например волос, меха и других тонкий структур. Она способна оценивать как относительную, так и абсолютную глубину, что означает, что модель может предоставлять реальные измерения, позволяющие приложениям дополненной реальности точно позиционировать виртуальные объекты в физическом пространстве.
Depth Pro может обеспечить гораздо более эффективное редактирование фотографий или даже привести к получению 3D-изображений в реальном времени с помощью однообъективной камеры. Проект все еще находится на стадии исследований, но код и сопроводительная документация доступны в открытом доступе на GitHub. Это позволит разработчикам, ученым и программистам вывести технологию на новый уровень.
Статья о проекте опубликована на сервере Arxiv, а для всех желающих самостоятельно протестировать текущую версию доступна демонстрационная версия. Об этом сообщает New Atlas.
Источник: Apple