Пять вопросов о Microsoft Project "HoloLens"

Рекламное объявление

В среду утром Microsoft продемонстрировала проект, над которым они работали в течение семи лет, гарнитура дополненной реальности под названием Проект HoloLens.

Это амбициозное видение: они хотят коренным образом изменить способ взаимодействия людей с компьютерами, создание пары очков, которые могут плавно смешивать виртуальный и реальный контент в физическом пространстве Пользователь. Это как технология виртуальной реальности Почему технология виртуальной реальности поразит вас за 5 летБудущее виртуальной реальности включает в себя отслеживание головы, глаз и выражений, симуляцию прикосновения и многое другое. Эти удивительные технологии будут доступны вам через 5 лет или меньше. Подробнее , но принципиально более мощный. Кроме того, они хотят выполнять всю обработку локально на очках - ни компьютера, ни телефона, ни кабелей. Они даже запускают специальную версию Windows только для нового оборудования. Это следующий этап технологической эволюции для всех тех, AR игры Приложения дополненной реальности: полезные или просто реклама? MakeUseOf Тесты

В 2011 году аналитики прогнозировали рост мобильных приложений дополненной реальности. Зарождающаяся технология произвела бы революцию в том, как мы взаимодействуем с нашими мобильными устройствами. Перенесемся на два года вперед, и десятки AR-приложений заполнят все ... Подробнее Вы установили на свой телефон один раз и с тех пор не трогали.

Их сроки еще более амбициозны, чем их цели: они хотят поставлять комплекты для разработчиков этой весной, а также потребительский продукт «в течение периода Windows 10». Вот поле

Все это звучит замечательно, но я допускаю довольно высокую степень скептицизма.

Технологии, которые использует Microsoft, сталкиваются с серьезными, фундаментальными проблемами, и до сих пор Microsoft была очень молчалива по поводу того, как (или если) они решили их. Если они не решили их, то их цель доставки в течение года очень важна. Последнее, что нужно VR и AR, - это большая компания, поставляющая еще один полуготовый продукт, такой как Kinect. Помните Project Natal demo с 2009 года?

Без лишних слов, вот пять самых важных вещей, которые я хотел бы знать о HoloLens.

Это дисплей светлого поля?

Чтобы понять это, нам нужно немного глубже изучить 3D и то, как оно работает. Чтобы получить представление о реальном, осязаемом трехмерном мире, наш мозг объединяет много разных видов информации. Мы получаем глубинные подсказки о мире тремя основными способами:

• Стерео глубина - несоответствие между тем, что видят оба наших глаза. Фальсификация, как работают 3D фильмы
• Параллакс движения - тонкие движения нашей головы и туловища дают нам дополнительные подсказки глубины для объектов, которые находятся дальше
• Оптический фокус - когда мы сосредотачиваемся на чем-то, линзы наших глаз физически деформируются, пока они не фокусируются; объекты ближнего поля требуют большего искажения линзы, что обеспечивает глубину информации о том, на что мы смотрим

Оптический фокус легко проверить самостоятельно: закройте один глаз и поднесите большой палец к стене напротив комнаты. Затем переместите фокус с эскиза на поверхность позади него. Когда вы смотрите мимо большого пальца, ваш большой палец смещается из-за фокуса, потому что хрусталик вашего глаза теперь менее деформирован и не может правильно собирать исходящий от него свет.

VR-гарнитуры, такие как Oculus Rift, обеспечивают первые две реплики чрезвычайно точно, но не последние, что неожиданно получается хорошо: наши глаза по умолчанию полностью расслабляются, так как оптика фокусирует изображения, как сквозь свет, исходящий из бесконечно далеких далеко. Отсутствие оптического фокуса нереально, но обычно оно не отвлекает. Вы все еще можете иметь очень крутой игровой опыт 5 игровых процессов Oculus Rift, которые поразят васТеперь, когда второе поколение комплектов для разработки Oculus Rift вышло и находится в руках разработчиков по всему миру, давайте посмотрим на некоторые из лучших вещей, которые когда-либо были в Rift. Подробнее без этого.

В дополненной реальности проблема другая, потому что вы должны смешивать свет от реальных и виртуальных объектов. Свет от реального мира, естественно, будет сфокусирован на самых разных глубинах. Однако виртуальный контент будет сосредоточен на фиксированном искусственном расстоянии, определяемом оптикой - возможно, на бесконечности. Виртуальные объекты не будут выглядеть, как будто они действительно являются частью сцены. Они будут не в фокусе, когда вы смотрите на реальные вещи с одной и той же глубины и наоборот. Невозможно плавно перемещать глаз по сцене, удерживая его в фокусе, как обычно. Противоречивые сигналы глубины будут в лучшем случае запутанными, а в худшем - отвратительными.

Чтобы это исправить, вам нужно что-то, что называется дисплеем светового поля. Дисплеи светового поля - это дисплеи, которые используют массив крошечных линз для одновременного отображения света, сфокусированного на многих глубинах. Это позволяет пользователю естественным образом сфокусироваться на дисплее и (для дополненной реальности) решает проблему, описанную выше.

Однако существует проблема: световое поле отображает, по существу, карту одного 2D-экрана на трехмерное световое поле, что означает, что каждая «глубина» пиксель », который воспринимает пользователь (и который находится на определенной глубине фокуса в сцене), фактически состоит из света от множества пикселей оригинала отобразить. Чем мельче будет глубина, которую вы хотите изобразить, тем больше разрешения вы должны будете оставить.

Как правило, световые поля имеют около восемь раз уменьшение разрешения, чтобы обеспечить адекватную точность глубины. Лучшие доступные микродисплеи имеют разрешение около 1080p. Если предположить, что на каждом глазу движется один высококачественный микродисплей, то фактическое разрешение гарнитуры Microsoft составляет всего около 500 x 500 пикселей на глаз, что даже меньше, чем у Oculus Rift DK1. Если дисплей имеет высокое поле зрения, виртуальные объекты будут непонятными пятнами пикселей. Если этого не произойдет, погружение пострадает пропорционально. На самом деле мы никогда не видим сквозь объектив (только воссоздание компьютером того, что видит пользователь), поэтому мы понятия не имеем, на что действительно похож пользовательский опыт.

Возможно, что Microsoft придумала какое-то новое решение этой проблемы, чтобы разрешить использование дисплея в светлых полях без компромисса с разрешением. Тем не менее, Microsoft очень осторожно относится к их технологиям отображения, что заставляет меня подозревать, что они этого не делают. Вот лучшее объяснение, которое мы получили до сих пор (от Проводные демонстрация).

Для создания изображений Project HoloLens легкие частицы отскакивают миллионы раз в так называемом световом движке устройства. Затем фотоны попадают в две линзы очков, где они рикошетят между слоями синего, зеленого и красного стекла, прежде чем достигнут задней части вашего глаза.

Такое описание технологии может означать практически что угодно (хотя, по справедливости для Microsoft, аппаратное обеспечение действительно впечатляет WIRED, хотя в статье было мало деталей).

Мы не будем знать больше наверняка, пока Microsoft не начнет выпускать технические спецификации, возможно, через несколько месяцев. На еще одной ноте выбора гниды, действительно ли необходимо утопить проект в этом большом маркетинговом разговоре? Выделенный процессор, который они используют для отслеживания головы, называется «голографическим процессором», а изображения называются «голограммами» без особой причины. Продукт достаточно крутой, так что на самом деле не нужно его так украшать.

Достаточно ли хорошего отслеживания?

На гарнитуре Project HoloLens установлена ​​камера с большой глубиной обзора (например, Kinect), которую она использует, чтобы выяснить, где гарнитура находится в космосе (пытаясь выровнять изображение глубины, которое она видит, со своей моделью мира, составленной из глубины прошлого изображений). Вот их живая демонстрация гарнитуры в действии.

Отслеживание впечатляет, учитывая, что он не использует маркеры или другие читы, но даже в этом видео (под жестко контролируемые условия), вы можете увидеть определенное количество колебаний: отслеживание не является полностью стабильным. Этого и следовало ожидать: такое отслеживание наизнанку чрезвычайно сложно.

Тем не менее, большой урок из различные прототипы Oculus Rift Посмотрите, как вы попробуйте Oculus Rift Crescent Bay на выставке CES 2015Oculus Rift Crescent Bay - это совершенно новый прототип, демонстрирующий некоторые впечатляющие улучшения в технологии виртуальной реальности. Мы попробуем это на CES 2015. Подробнее в том, что точность отслеживания имеет большое значение. Отслеживание джиттеров просто раздражает, когда это несколько объектов в практически стабильном реальном мире, но в таких сценах, как демонстрация Марса, они показали в своей концепции видео, где почти все, что вы видите, является виртуальным, неточное отслеживание может привести к отсутствию «присутствия» в виртуальной сцене или даже в симуляторе болезни. Может ли Microsoft довести отслеживание до уровня, установленного Oculus (точность отслеживания менее миллиметра и общая задержка менее 20 мс), к дате их отправки в конце этого года?

Вот Майкл Абраш, исследователь VR, который работал на Valve и Oculus, говорить о проблеме

[Поскольку создание виртуальных изображений всегда задерживается, […] очень трудно заставить виртуальные и реальные изображения регистрироваться достаточно близко, чтобы глаз не заметил. Например, предположим, что у вас есть настоящая банка кока-колы, которую вы хотите превратить в банку AR Pepsi, нарисовав логотип Pepsi поверх логотипа кока-колы. Если для перерисовки логотипа Pepsi требуются десятки миллисекунд, каждый раз, когда вы поворачиваете голову, эффект будет логотип Pepsi сместится на несколько градусов относительно банки, и часть логотипа Coke станет видимой; тогда логотип Pepsi вернется в нужное место, когда вы перестанете двигаться. Это явно недостаточно для жесткого AR

Может ли дисплей рисовать черным?

Другая проблема, помимо глубины фокусировки и отслеживания, связана с рисованием темных цветов. Добавить больше света к сцене относительно просто, используя светоделители. Убрать свет намного сложнее. Как вы выборочно затемняете части реального мира? Установка избирательно прозрачного ЖК-экрана не изменит его, поскольку он не всегда может быть в правильном фокусе, чтобы блокировать то, на что вы смотрите. Оптические инструменты для решения этой проблемы, если Microsoft не изобрела их тайно, просто не существуют.

Это важно, потому что для многих приложений, которые демонстрирует Microsoft (например, для просмотра Netflix на стене), гарнитуре действительно нужны возможность убрать свет, идущий от стены, иначе ваш фильм всегда будет иметь видимый слой штукатурки, наложенный на него: это будет для изображений невозможно заблокировать реальные объекты на сцене, что делает использование гарнитуры в значительной степени зависимым от окружающего освещения условия. Вернемся к Майклу Абрашу:

[S] o в промышленности или литературе AR ничего подобного не всплывало, и до тех пор, пока и до тех пор, пока это не произойдет, жесткий AR, в том смысле, что мы все знаем и любим, не может произойти, кроме как в почти темноте.

Это не означает, что AR отсутствует, просто какое-то время это будет мягкий AR, основанный на аддитивном смешивании […] Опять же, подумайте о прозрачности как «Охотники за привидениями». Также будут работать виртуальные изображения высокой интенсивности без темных областей, особенно с помощью регионального или глобального затемнения - они просто не будут выглядеть как часть реального Мир.

Как насчет окклюзии?

«Окклюзия» - это термин, обозначающий то, что происходит, когда один объект проходит перед другим и мешает вам увидеть, что стоит за ним. Чтобы виртуальные пейзажи ощущались как осязаемая часть мира, реальным объектам важно перекрывать виртуальные объекты: если вы держите руку перед частью виртуального изображения, вы не сможете увидеть ее через рука. Из-за использования камеры глубины на гарнитуре, это действительно возможно. Но посмотрите демо снова:

По большому счету, они тщательно контролируют углы камеры, чтобы избежать реальных объектов, проходящих перед виртуальными. Однако, когда демонстратор взаимодействует с меню Windows, вы можете видеть, что его рука вообще не закрывает его. Если это недоступно их технологиям, это очень плохой признак жизнеспособности их потребительского продукта.

И если говорить об этом интерфейсе ...

Это действительно финальный интерфейс?

Интерфейс, демонстрируемый Microsoft в их демонстрационных видеороликах, кажется, работает с использованием некоторой комбинации взгляда и руки отслеживание для управления курсором в виртуальной сцене с использованием голосового управления для выбора между различными параметры. У этого есть два главных недостатка: он делает вас похожим на маленького ребенка из «Сияющего», который разговаривает с ним пальцем, но, что более важно, он также представляет принципиально некорректную модель дизайна.

Исторически лучшими пользовательскими интерфейсами были те, которые привносят физическую интуицию о мире в виртуальный мир. Мышь принесла щелчок, перетаскивание и окна. Сенсорный интерфейс принес прокрутку для прокрутки и масштабирования. Оба из них имели решающее значение для того, чтобы сделать компьютеры более доступными и полезными для широких слоев населения - потому что они были в основном более интуитивно понятными, чем то, что было раньше.

VR и AR дают вам гораздо больше свободы как дизайнеру: вы можете размещать элементы пользовательского интерфейса в любом месте трехмерного пространства, и пользователи могут взаимодействовать с ними естественным образом, как если бы они были физическими объектами. Огромное количество очевидных метафор напрашиваются сами собой. Коснитесь виртуального элемента пользовательского интерфейса, чтобы выбрать его. Зажмите его, поднимите и переместите. Сдвиньте его, чтобы временно сохранить. Сокрушите это, чтобы удалить это. Вы можете представить себе настолько интуитивно понятный пользовательский интерфейс, который не требует объяснений. То, что ваша бабушка может мгновенно подхватить, потому что оно построено на основе основных физических интуиций, которые каждый человек создает в течение всей жизни, взаимодействуя с миром. Найдите минутку и послушайте, как этот умный человек описывает, какими могут быть интерфейсы с эффектом погружения.

Другими словами, мне кажется очевидным, что пользовательский интерфейс должен быть как минимум интуитивно понятный, как сенсорные интерфейсы, впервые появившиеся в iPhone для 2D мультитач экранов Создание интерфейса вокруг манипулирования «мышью» виртуальной реальности является шагом назад и раскрывает либо глубокие технологические недостатки в их технологии отслеживания рук или фундаментальное недопонимание того, что интересно в этом новом Средняя. В любом случае, это очень плохой признак того, что этот продукт - нечто большее, чем колоссальный флоп Kinect.

Надеемся, что у Microsoft есть время, чтобы получить отзывы об этом и сделать лучшую работу. В качестве примера приведу интерфейс, разработанный одним из любителей для Oculus Rift DK2 и Leap Motion. Иммерсивный пользовательский интерфейс, разработанный крупной компанией, должен быть как минимум таким хорошим.

Знак грядущих событий

В целом, я крайне скептически отношусь к проекту HoloLens в целом. Я очень рад, что компания с ресурсами Microsoft исследует эту проблему, но я обеспокоен тем, что они пытаться выпустить продукт, не решая некоторые важные технические проблемы, или прибегнуть к хорошему интерфейсу парадигма. HoloLens - это знак грядущих событий, но это не значит, что сам продукт будет полезен для потребителей.

Имидж кредит: любезно предоставлено Microsoft