МЫ ДОПОЛНЯЕМ РЕАЛЬНОСТЬ

Влад Новиков, продюсер VR-студии Interactive Lab

Добрый день.

Фраза «научиться VR и AR» не совсем корректна, потому что VR и AR — это одна из сфер развития высоких технологий. Для начала, нужно специфицировать направление, в котором хочется развиваться. В самом первом приближении их три: разработка, дизайн и маркетинг с продажами. В целом, наша сфера часто и во многом соприкасается с разработкой игр, то есть нужно знать игровые движки (Unity, Unreal и другие), работать с 3D-графикой, иметь базовое представление о том, что происходит на VR-рынке.

С рынком вообще постоянно нужно взаимодействовать — читать статьи, следить за новинками — быть «в теме». Часто сотрудники разных компаний читают курсы в тех или иных учебных заведениях. Такие курсы ценны тем, что на них не будет пустой теории. Люди из индустрии рассказывают о насущных проблемах и учат действительно прикладным вещам. Например, на курсе «Дизайн в интерактивной среде» в БВШД часть занятий ведут основатель и креативный директор Interactive Lab.

Помимо теоретических знаний, обязательно нужно получать знания практические. Проще всего это сделать через стажировку в компаниях, занимающихся VR или AR. Как правило, попасть на такую стажировку не сложно, например, к нам часто приходят стажеры, просто написав нам на почту или в Facebook. Стажировки очень важны — они сразу вовлекают вас в текущие проекты и позволяют учиться прямо «на поле боя». Это бесценный опыт.

Сфера виртуальной и дополненной реальности сейчас только начала активно развиваться, поэтому хороших специалистов в ней пока мало, очень многие задачи приходится решать самостоятельно. Нельзя просто спросить Google и получить ответ. Примечательно, что любой специалист, работающий в VR — дизайнер, программист, маркетолог — не сможет работать исключительно в «своей» области, он должен иметь представление о том, чем занимаются остальные члены команды.

КОНСТРУКТОР AR И VR ПРОЕКТОВ EV TOOLBOX

Сегодня технологии дополненной (AR) и виртуальной (VR) реальности входят в десятку самых популярных и стремительно развивающихся технологий в мире.

По оценке крупных аналитических бюро, мировой рынок AR и VR в 2017 году уже составил 10 миллиардов долларов. А прогнозы по оценке рынка на 2023 год — более 100 млрд. долларов. Самое время присмотреться к этим перспективным технологиям, не правда ли?

Все больше людей хотят не только надеть VR шлем и поиграть в динамичную игру или посмотреть на «оживающие» AR объекты на экранах смартфонов. Многим становится интересно узнать, как эти технологии работают изнутри и как можно применить их с пользой для промышленности, науки, культуры, образования.

Почему же тогда вокруг нас все еще так мало удобных и полезных AR и VR проектов?

«Может быть, это слишком сложно? Ведь для того, чтобы эффективно работать с такими технологиями, нужно долго учиться,» — можете подумать вы. 

Отчасти вы правы. Еще несколько лет назад, когда эти технологии только завоевывали себе место на рынке мобильных приложений, AR и VR разработка была доступна только узким специалистам: опытным программистам, 3D дизайнерам, ученым.

К счастью, мир не стоит на месте. Сегодня, когда возник большой интерес со стороны общества и понимание, как эти технологии работают и как их можно использовать, в России появилось множество компаний-разработчиков. Однако и они не справляются с растущей потребностью в создании больших объемов игрового, рекламного и образовательного AR и VR контента. К тому же, заказать создание индивидуального проекта дополненной или виртуальной реальности до сих пор стоит дорого. Средняя стоимость проекта на российском рынке начинается от 300 тыс.руб., и не каждая компания или организация может себе позволить такую сумму.

А если вы — педагог, студент, бизнесмен или дизайнер, который хочет использовать эти технологии в своей работе, но не готов заказывать разработку сторонней компании? Что же делать? 

Именно для вас мы разработали удобный многофункциональный конструктор AR и VR проектов — EV Toolbox.

Возможности ARKit

ARKit — не волшебная палочка Гарри Поттера, а инструмент, который умеет грамотно обрабатывать большое количество данных, полученных от устройства. Благодаря камере и датчикам движения фреймворк отслеживает движение, находит поверхности и определяет освещенность. После анализа данных мы получаем конкретное представление об окружающем мире в виде точек пересечения, координат поверхностей и положении камеры в пространстве.

Основой задачей ARKit является слежение за окружающим миром (World Tracking) для создания виртуальной модели реального мира. Фреймворк распознает особенности видеокадров, отслеживает изменения их положения и сравнивает эту информацию с данными от датчиков движения. Результатом является виртуальная модель реального мира. Отдельная возможность — распознавание плоских горизонтальных поверхностей. ARKit находит плоскости и сообщает об их расположении и размерах.

Слежение за окружающим миром требует анализа картинки, получаемой от камеры. Для достижения наилучшего результата, необходимо хорошее освещение.

Основой ARKit являются и . Они служат для отображения live видео и рендеринга 3D и 2D изображений. Как все уже догадались, это наследники от и . Следовательно, ARKit не привносит каких-то невероятных особенностей в отображении данных. Это все те же движки для работы с 2D и 3D графикой, с которыми уже все знакомы. Поэтому порог вхождения в данную технологию будет достаточно низким. Apple знаменита любовью к своим технологиям и продуктам, но несмотря на это разработчики ARKit сделали поддержку Unity и Unreal Engine. Это положительно скажется на количестве качественных приложений, которые появятся в ближайшее время.

и содержат в себе сердце ARKit — . Именно этот класс содержит в себе все необходимое для работы с дополненной реальностью. Для запуска необходимо передать конфигурацию работы сессии.

Тип конфигурации определяет стиль и качество работы AR, которое может быть достигнуто:

  • На девайсах с процессором A9 и новее можно использовать . Именно эта конфигурация дает возможность воспользоваться всей мощью нового фреймворка. Для вас будет создана модель окружающего мира в виртуальной реальности и предоставлена информация о плоскостях в поле видимости камеры. Это поможет расположить виртуальные объекты с максимальной точностью.
  • На остальных девайсах, поддерживающих ARKit, будет доступна лишь . Базовый класс предоставляет только информацию о движении устройства в пространстве, но не строит виртуальных моделей. Это не даст необходимого эффекта и не позволит насладиться всем качеством новой технологии. Вам будет недоступна возможность фиксации виртуальных объектов относительно объектов реального мира.

После выбора типа конфигурации необходимо создать ее экземпляр, произвести настройку и запустить сессию:

Важно помнить, что ARKit потребляет довольно много энергии для расчетов. Если View с контентом не отображается в данный момент на экране, то имеет смысл приостановить сессию на это время, используя

После запуска сессии можно начинать работать с виртуальным контентом. Если хотите, чтобы ARKit распознавал плоскости, не забудьте установить значение у конфигурации в значение . Изначально распознавание горизонтальных поверхностей выключено. Будем надеяться, что в будущем появится возможность находить и вертикальные поверхности, но пока только горизонтальные.

Способ получения информации об окружающей среде зависит от того, какой вид отображения данных вы будете использовать , или . Единицей информации, которую предоставляет ARKit, является . Если у вас включено распознавание поверхностей, то вы столкнетесь с сабклассом . Он содержит в себе информацию о найденных плоскостях. Благодаря данным якорям есть возможность ориентироваться в пространстве. В случае использования Metal вам придется вручную заниматься рендерингом. Тогда можете подписаться на обновления, используя делегат у класса , и получать якоря от сессии. Если используете один из Apple движков для рендеринга объектов, тогда есть возможность воспользоваться более удобными делегатами или .

На первый взгляд все довольно просто. Почти всю сложную работу делает . Давайте попробуем сделать тестовое приложение.

Два основных типа применения AR в деле

Первое — демонстрация информации. Оператор работает с предустановленными руководствами, наглядно показывающими процесс сборки, разборки, ТО чего-либо или просматривает заранее загруженные данные, которые в прямом смысле должны быть перед глазами.

Второе – удаленная поддержка во внештатных ситуациях. В режиме реального времени удаленный специалист видит изображение со встроенной камеры и отправляет интерактивные подсказки и направляет пользователя в его действиях.

Важно отметить, что возможности приложения зависят исключительно от ПО, разработанного под конкретную задачу. Именно поэтому все версии очков Epson, например, имеют открытый SDK

Перейдем уже к интересным кейсам по основным категориям, а то утомил уже, наверное!

Привлечение посетителей

На один из самых очевидных способов использования дополненной реальности намекает всё тот же PokemonGo. Когда игра вышла, многие ТРЦ, кафе, рестораны организовали у себя покестопы — необходимые для тренеров остановки. Люди шли на точку, чтобы воспользоваться функциями игры, и по дороге совершали покупки.

При умелом подходе не обязательно использовать чужие игры, чтобы привлечь посетителей. Можно устраивать охоту за сокровищами в рамках сезонных распродаж или сделать покупки более персонализированными. Например, Ikea уже предложила покупателям возможность «примерить» мебель и другие крупные товары в своём интерьере с помощью приложения дополненной реальности.

ВАКАНСИИ

Руководитель Отдела продаж

Требования:

  • Опыт руководства (создания) ОП;
  • СИСТЕМНЫЙ ПОДХОД;
  • Образование не имеет значения;
  • «Горящие глазки» (вовлеченность в процесс).

Обязанности:

Эффективное руководство ОП.

Условия:

  • На испытательный срок оклад 30000 рублей + %%;
  • Привлекательная система бонусов за конкретные показатели (денежные премии, оплата за ресторан, подарочные карты, дополнительные выходные и т.д.);
  • Оформление по ТК;

Менеджер по продажам

Требования:

  • Опыт не имеет значения;
  • Образование не имеет значения;
  • Имеет значение желание овладеть навыками продающего менеджера на уровне «SUPER-менеджера»;
  • «Горящие глазки» (вовлеченность в процесс).

Обязанности:

Поиск и ведение клиентов;

Условия:

  • На испытательный срок оклад 20000 рублей + %; привлекательная система бонусов за конкретные показатели (денежные премии, оплата за ресторан, подарочные карты, дополнительные выходные и т.д.);
  • Оформление по ТК.

Оператор call-службы

Требования:

  • Опыт не имеет значения;
  • Образование не имеет значения;
  • Имеет значение работоспособность, усидчивость.

Обязанности:

  • Холодные звонки по сценарию;
  • Выполнение количественных показателей.

Условия:

  • На испытательный срок оклад 15000 рублей + бонус за высокие показатели эффективности;
  • Возможна удаленная работа;
  • Оформление по ТК.

Unity3d, AR разработчик

Разработка дополненной реальности для мобильных приложений.

Требования:

  • Опыт разработки на платформе Unity3d либо начальные навыки
  • Ответственность, умение грамотно распоряжаться своим временем

Желательно:

Опыт разработки клиент-серверных мобильных приложений (iOS, Android)либо понимание принципов
Опыт разработки AR (Vuforia, ARmedia или др.)
Усидчивость, аккуратность, творческое мышление, внимание к деталям
Стремление развиваться в направлении AR

Условия:

  • Работа в одной из самых перспективных и быстрорастущих сфер IT — AR
  • Возможности персонального и профессионального роста
  • Оформление по ТК РФ
  • Продвинутое адекватное руководство

Unity 3D, AR разработчик

Разработка дополненной реальности для мобильных приложений.

Требования:

Стремление развиваться в направлении разработки коммерческой AR

Желательно:

Опыт разработки на платформе Unity 3D, разработки моделей и анимации в 3D MAX и др

подобных программах либо начальные навыки
Опыт разработки клиент-серверных мобильных приложений (iOS, Android)либо понимание принципов
Опыт разработки AR (Vuforia, ARmedia или др.)
Усидчивость, аккуратность, творческое мышление, внимание к деталям. Условия:

Условия:

  • Работа в одной из самых перспективных и быстрорастущих сфер IT — AR
  • Возможности приема в штат
  • Продвинутое адекватное руководство

МИНИМАЛЬНЫЕ СИСТЕМНЫЕ ТРЕБОВАНИЯ

  • Операционная система: Windows 7 Service Pack 1 (или выше) или macOS 10.8 Mountain Lion (или выше);
  • процессор: Intel Core 2 Duo или выше;
  • оперативная память: 2 Gb или больше;
  • свободное место на диске: 3Gb или больше;
  • видео карта: с поддержкой OpenGL не ниже 2.1;
  • камера: встроенная в ноутбук или внешняя USB-камера;
  • для активации ПО требуется доступ в интернет.

Для удобства пользователей мы написали подробное руководство, в котором вы найдете описания всех объектов и их функционал, а также примеры готовых скриптов. Они также есть на нашей страничке на платформе GitHub. 

Образовательная версия отличается от коммерческой только наличием водяного знака при экспорте созданного AR и VR проекта. В остальном функционал обеих версий совершенно идентичен.

У образовательной версии, однако, есть еще одно важное преимущество. Она может быть бессрочной

О сроках действия и стоимости различных версий конструкторв, а также о скидках на оснащение образовательных организаций большим количеством лицензий вы можете узнать на странице Стоимость. Все обновления ПО вы будете получать бесплатно на период действия вашей лицензии.

Мы предлагаем различные форматы обучения работе с конструктором: платный и бесплатный, индивидуальный и групповой, очный и дистанционный. О каждом из них вы можете узнать в разделе Обучение.

А в разделе FAQ мы ответили на часто задаваемые вопросы по конструктору EV Toolbox.

Как работает ARCore

Вы когда-нибудь задумывались, почему большинству приложений дополненной реальности требуется, чтобы вы поперемещали камеру по комнате для обнаружения поверхностей в ней? Это необходимо для того, чтобы приложение построило свой собственный виртуальный мир на основе физического. ARCore в этом плане ничем не отличается.

Когда вы перемещаете свой телефон, ARCore запоминает окружение и строит собственный мир, в котором он может размещать виртуальные объекты. Он также использует технологию отслеживания движения для определения того, как некоторые объекты движутся, учитывая движения вашей камеры.

Вот почему, когда вы размещаете виртуальный объект в своей комнате, выходите и возвращаетесь, объект всё ещё там. ARCore построил свой виртуальный мир, в котором он помнит, где находится каждая деталь.

Когда вы размещаете в этом пространстве объект, ARCore вычисляет его положение по отношению к другим объектам, а когда вы возвращаетесь в то же место, объект отображается снова.

Хирургия

Уже в ближайшее время дополненная реальность позволит хирургам проводить операции без больших разрезов. Врач будет точно знать, где находится проблемная область, без обширного доступа к месту вмешательства. AR используется для создания трёхмерной модели тела пациента на основании показателей КТ и МРТ. Благодаря этому хирург видит место работы до того, как возьмёт в руки скальпель.

Дополненная реальность также помогает просчитать риски и понять, что может пойти не так

Это особенно важно для неопытных хирургов и операций с высоким риском, например, на мозге

Впрочем, нельзя сказать, что это вопрос ближайшего будущего. Технологии развиваются быстро, а медицина остаётся достаточно консервативной отраслью.

ВЕРСИИ КОНСТРУКТОРА EV TOOLBOX

Мы предлагаем вам для работы пять различных версий конструктора:

  • Trial (базовая пробная);
  • Standard Edu (базовая образовательная);
  • Standard (базовая коммерческая);
  • Advanced Edu (продвинутая; образовательная),
  • Advanced (продвинутая; коммерческая).

Каждый, кто хочет протестировать функционал конструктора, может скачать бесплатную пробную версию EV Toolbox Trial, которая будет действовать в течение 30 календарных дней.

Это полный аналог базовой образовательной версии EV Toolbox Standard за исключением возможности экспорта созданных AR и VR приложений под выбранные устройства.

Чтобы скачать EV Toolbox Trial, вам необходимо зарегистрироваться на портале, зайти под вашей учетной записью и скачать дистрибутив под выбранную систему. 

Базовая версия EV Toolbox Standard подходит для пользователей, не обладающих навыкам программирования. В ней вы можете создать логику работы AR или VR проекта с помощью визуально-блочного программирования — сценариев (соединений между объектами).

Несмотря на простоту разработки, в каждом вашем проекте вы можете реализовать сложные нелинейные сценарии, создать удобное пользовательское меню, прописать требуемые ссылки и подключить множество разнообразных объектов. 

Продвинутая версия EV Toolbox Advanced создана для пользователей, которые обладают навыкам программирования. В EV Toolbox Advanced вы можете дополнительно использовать скрипты, написанные на языке Lua. Благодаря этому вы получаете безграничные возможности по усложнению сценариев и их оптимизации. 

Как работает AR

Система реагирует на маркер, расположенный перед камерой, и распознает его. Затем она “располагает” необходимое изображение возле этого маркера.

Различают дополненную реальность на основе маркеров и без маркеров. Дополненная реальность, основанная на маркерах, проще, чем без использования маркеров.

Она требует расположения специальных маркеров возле целевого объекта, например баркодов. Эти маркеры hard-coded в приложении, и их гораздо проще распознать, чем случайный неизвестный объект.

Дополненная реальность без использования маркеров — более сложная технология. Она напоминает то, как мы видим обычные предметы. Когда мы видим здание, нам не нужна табличка рядом, на которой написано “здание”, чтобы мы поняли, что перед нами находится.

Мы знаем это сразу, потому что в детстве нам просто об этом рассказали. Однако программистам гораздо сложнее воплотить это в ПО.

Код приложения должен содержать алгоритм для распознавания структур и схем, цветов и деталей объекта для того чтобы определить, является ли этот объект целевым, и идентифицировать его фрагменты.

После того как система распознала объект, она проводит анализ, чтобы “решить” куда и какой объект поместить на изображение.
 

Перспективы

Свои концепты AR-очков и шлемов разрабатывают многие крупные компании и стартапы, в числе которых Vuzix, Sony, ODG, Solos, Magic Leap и другие.

Однако сейчас наиболее востребован рынок мобильных приложений с возможностями AR, которые имеют конкретное утилитарное применение. Сложные и дорогие гаджеты вызывают энтузиазм, но пока что недоступны и не очень нужны массовому потребителю.

Среди приложений, которые уже пользуются спросом:

  • AirMeasure — виртуальная рулетка, способная определять расстояния и размеры в 3D-окружении.
  • Мобильная реализация Google Translate, которая умеет переводить текст в реальном времени.
  • Sun Seeker — приложение, которое определяет траекторию солнца на любой местности и в любое время.
  • Google Sky Map — позволяет изучить карту звездного неба.

Одной из наиболее заинтересованных в развитии AR компаний является Facebook. Сейчас корпорация внедряет в свои продукты AR-маски и другие эффекты. Также известно, что программисты Facebook разрабатывают алгоритмы трекинга всего тела, а не только лица, что позволит распознавать фигуры и позы.

На сегодняшний день большинство успешных AR-разработок сосредоточено в области развлечений, а значит, и разработчики в первую очередь ориентируются на эту сферу. Но дальнейшее развитие технологии и внедрение в науку, здравоохранение, системы безопасности и быт рядовых пользователей — лишь вопрос времени и увеличения объема инвестиций. Так что уже в ближайшие несколько лет можно ожидать повсеместного распространения дополненной реальности в самых разных продуктах и сервисах.

Применение технологии дополненной реальности

Существует множество случаев, в которых можно применить AR технологию. Она может быть использована в любой области, которая имеет что-то общее со зрением. Ниже приведены наиболее яркие примеры.
 

1. Музеи
 
Если вы когда-либо были на великолепной выставке, не адаптированной специально для детей, с ребенком, вы наверняка знаете, как досадливо это может быть.

Представьте себе приложение-игру с использованием технологии дополненной реальности, которая предлагает интересную информацию детям, может быть игру-приключение или аркаду.

Таким образом даже выставка античных скульптур может стать информативной и занимательной для детей, давая им возможность узнать что-то новое из области истории, а их родителям или воспитателям — самим наладиться экспозицией.
 

2. Образование
 
Приложения дополненной реальности можно успешно использовать в образовательных целях в широком круге случаев.

Их можно применять для создания более информационно насыщенного процесса обучения, например с моделями органов в анатомии, молекул и кристаллических структур в химии, зданий и людей в истории, карт звездного неба в астрономии и т. д.

Более того, эта технология полезна в обучении сотрудников в различных областях: начиная от мерчандайзеров и заканчивая пилотами. Таким образом вы можете высылать им инструкции к различным объектам непосредственно на их мобильные устройства без необходимости использования печатный инструкций.

Этот же принцип можно применить в повседневной жизни. Представьте себе человека, который купил новую посудомоечную машину. Направляя камеру на определенный элемент, он может получать инструкции к этому элементу прямо на мобильное устройство.

Таким же образом можно получать информацию к различным объектам, например растениям, продуктам и т. Д.
 

3. Бьюти-индустрия
 
Приложения дополненной реальности также применяются в бьюти-индустрии. Существуют мобильные приложения, позволяющие “примерять” макияж, прически и татуировки. Их могут успешно применять как индивидуальные лица, так и салоны красоты и пр.
 

4. Торговля
 
AR технология также может быть применена в розничной торговле, особенно в сфере моды и дизайна интерьеров. Приложения дополненной реальности можно применять для виртуальной примерки вещей даже не выходя из дома, просмотра каталогов, виртуальных магазинов.

Представьте себе, что вы можете точно увидеть размер нового смартфона из каталога, просто виртуально поместив его на руку с помощью приложения дополненной реальности. Или можно за несколько секунд и без всяких усилий посмотреть, как новый диван будет смотреться в вашей гостиной.
 

5. Здравоохранение
 
Ещё более полезное применение технологии дополненной реальности можно найти в сфере здравоохранения, особенно в лечении фобий или расстройств личности.

Представьте себе человека с офидиофобией (боязнью змей), который проходит экспозиционную терапию (постепенное увеличение уровня воздействия объекта, вызывающего страх: от листа с написанным словом до фактического взаимодействия с объектом).

Таким образом, на определенном этапе лечения можно использовать приложение, показывающее змею возле пациента, чтобы сообщить ему необходимый уровень воздействия.
 

6. Работа
 
Предположим, что в предприятии работает большое число удаленных сотрудников. Было бы гораздо удобнее проводить встречи и обсуждать продукты и проекты с использованием приложения с технологией дополненной реальности.
 

7. Путешествия и реклама
 
Когда вы путешествуете, может быть очень удобно сразу знать, какое здание находится перед вами или найти интересные места поблизости. Этот же принцип можно применить для рекламы: пользователь видит предложения и информацию о скидках магазинов, просто указывая камерой смартфона на холл торгового центра.
 

8. Сфера развлечений
 
Вы наверняка слышали о таких популярных мобильных приложениях как Pokémon GO и MSQRD. Оба используют технологию дополненной реальности для богатого пользовательского опыта.

В игре Pokémon GO вы можете видеть существа перед собой, которых в реальности не существуют. А успешный стартап MSQRD из Беларуси позволяет примерять различные маски, которые подстраиваются под ваше выражение лица и эмоции.

Эти приложения имеют миллионы поклонников, поэтому можно точно сказать, что технология дополненной реальности может сделать продукт с выдающимся пользовательским опытом. Иное подобное применение AR технологии — для детей: “оживить” рисунок, даря им радость.

 
Опытная команда разработчиков Smartum Pro уже не раз применяла технологию дополненной реальности в проектах по разработке мобильных приложений.

Начало работы

Чтобы начать разработку ARCore-приложений, сначала необходимо добавить поддержку ARCore в свой проект. Это очень просто, так как мы будем использовать Android Studio и Sceneform SDK. Есть две основные операции, которые благодаря Sceneform выполняются автоматически:

  1. Проверка наличия ARCore.
  2. Запрос на разрешение использования камеры.

Вам не нужно беспокоиться об этих двух шагах при создании ARCore-приложения с помощью Sceneform SDK. Вам просто нужно добавить Sceneform SDK в ваш проект.

Создайте новый проект Android Studio с пустой Activity.

Добавьте следующую зависимость в файл на уровне проекта:

А эту зависимость добавьте в файл на уровня приложения:

Теперь синхронизируйте проект с Gradle-файлами и дождитесь окончания сборки. Таким образом, в проект будут добавлены Sceneform SDK и плагин Sceneform для Android Studio. Это позволит вам просматривать файлы с разрешением , которые представляют собой 3D-модели, которые будут рендериться в вашей камере, а также поможет вам импортировать, просматривать и создавать 3D-ресурсы.

Стоматологи тоже в теме

Стоматологи не отстают от коллег и используют дополненную реальность в повседневных процедурах. Например, при протезировании. Врач использует специальный стик с HD-видеокамерой для сканирования участка, требующего протезирования. На основании отсканированной трехмерной модели протезист создает компьютерные образы коронок и мостовидных конструкций.

Неудобство процесса состоит в том, что изображение с камеры передается на внешний монитор, обычно располагающийся сбоку от врача (видимо, не у всех врачей есть возможность поставить его перед глазами): поэтому ему необходимо постоянно поворачиваться во время сканирования то к пациенту, то к экрану. Это отвлекает и может доставлять определенные неудобства пациенту. ПО EyeCad выводит изображение с камеры сканера сразу на дисплеи очков, таким образом врач смотрит и на пациента, и видит рабочую область. Разработчики также предусмотрели управление жестами.

Другой пример – приложение ICNOS – позволяет пациенту поддерживать коммуникацию с врачом. Если во время лечения пациенту необходимо что-то сказать врачу, например, что ему необходим перерыв, или спросить, сколько времени осталось до конца процедуры, то он может сделать это, используя специальное приложение, которое при помощи Bluetooth-соединения с динамиком воспроизводит заданный текст.

А, если пациент заскучает, то может посмотреть новую серию любимого сериала или «посерфить» в интернете.

VR или AR

На всякий случай начну с разделения понятий VR и AR. Обе технологии преследуют свои цели и подходят для разных задач.

Задача виртуальной реальности — перенести пользователя в полностью искусственно созданный мир. Ее чаще всего используют для проектов симуляции и игр. Именно поэтому максимальный эффект погружения ощущается в специальном шлеме, блокирующем большую часть сигналов извне. VR бывает стационарный и мобильный, в том числе используются необычные гаджеты вроде очков с зеркалами.

Дополненная реальность — легко догадаться, о чем речь, если вспомнить фильм «Железный человек». Все необходимые показатели выводились на стекле шлема Тони, при этом сам дисплей был прозрачным.

Сведем основные моменты в простенькую таблицу:

VR AR
Устройства Шлем (+смартфон), контроллер (+трекеры) Смартфон, планшет, видеооочки
Основное направление Игры, симуляции, отработка навыков Игры, наглядные руководства, визуальная инспекция, обслуживание оборудования
Возможность передвижения В большинстве стационарных VR-шлемов есть провода. Они должны быть достаточно длинными, чтобы не сильно ограничивать передвижение, и прочными, потому что понятно, почему.
Для перемещения необходима дополнительная настройка под параметры помещения. Требуется корректное размещение сенсоров, калибровка и последующая настройки шлема.
Мобильные VR-шлемы лишены этих проблем, но можно во что-нибудь врезаться. Ситуация меняется в лучшую сторону с выходом Oculus Quest и Rift S со встроенными камерами. Внимательно наблюдаем.
Дисплеи очков прозрачны, поэтому пользователь видит все происходящее вокруг.
Однако в инструкции к нашим очкам, например, прописано, что машину в них водить запрещено. Хотя, если подумать, я и в шлеме не стал бы садиться за руль…
Планшет или телефон необходимо держать перед глазами, глядя на экран с проекцией поверх картинки с камеры.
Физический комфорт Множество неудобств, начиная нежеланием портить прическу, заканчивая тем, что у многих пользователей под маской потеет лицо.
От продолжительной носки VR-шлема сильно устают глаза и шея. Про головокружение и шок вестибулярного аппарата при перемещении в виртуальном пространстве без перемещения в реальном рассказывать не буду – кто пробовал, знают, каково это пережить такое «укачивание».
AR-очки значительно легче, быстрее надеваются/снимаются, в последних релизах наших, к примеру, хорошо крепятся, так что не «слетают» с головы даже при самых сильных наклонах головы. Благодаря тому, что прозрачные, нет «буэ-э»-эффекта при перемещении, т.к. реальное окружающее пространство всегда перед глазами. Это одна из причин, кстати, почему в профсреде используются именно AR-очки, а не шлемы: не придется искать человека с крепкой «вестибуляркой» – практически любой справится.

Углубляться в описание самих очков не буду, уже неоднократно о них рассказывали. Например, тут (Epson BT-200), тут (Epson BT-300) и тут (Epson BT-35E).

Культурное просвещение

Самый простой способ использования дополненной реальности для просвещения — внедрение технологии в музеях. Посетителю не нужен экскурсовод или аудиогид, чтобы подробнее узнать об экспонате, достаточно навести на него смартфон, и вся нужная информация окажется на экране. Но на этом учреждения культуры не останавливаются.

Дарвиновский музей ещё в 2014 году предложил посетителям «оживить» галапагосскую черепаху, льва, антилопу в витринах, понаблюдать за ними, погладить и сфотографироваться на память.

Тем, кто всё ещё считает дополненную реальность элементом развлечения, стоит обратить внимание на интерес к технологии признанных пионеров IT-сферы. За первенство в отрасли конкурируют Apple, Google, Microsoft, Facebook

Аналитики считают, что в 2021 году рынок AR может вырасти до 200 млрд долларов.

По прогнозу аналитиков App Annie, прорыв в реализации потенциала дополненной реальности будет сделан уже в этом году. Правда, пока речь идёт в основном о мобильных приложениях, наслаивающих контекстную информацию на картинку реального мира. А футуролог Бретт Кинг считает, что технологии развиваются так быстро, что ближайшие 20 лет принесут человечеству гораздо больше изменений, чем предыдущие 250.

dvoshansky

Навыки для создания маски

2D маски

Средняя стоимость:Необходимые навыки:

  • Photoshop для статичных масок
  • After Effect для динамичных масок (или другой софт для создания 2д анимации)

3D маски

habrastorage.org/webt/ri/pl/1l/ripl1ls3fu58ee0_kqacsahacxw.gif​Здесь применяется LUT фильтр для инвертирования цветов и 3д челюсть, которая трекается к лицуСредняя стоимость:Необходимые навыки:

  • Photoshop для статичных масок
  • Моделирование, текстурирование, риггинг в любом 3D софте

Про текстурирование.Пример моих 3д масок:Siberian_creatorSiberian_creatorПопробовать

Игры

Эти параметры считывает спарк с лица:

  • Моргание глазами (boolean)
  • Опускание бровей (boolean)
  • Поднятие бровей (boolean)
  • Счастливое лицо (boolean) (только для facebook)
  • Кивок головы (boolean)
  • Поворот головы (boolean)
  • Поцелуй (только для facebook)
  • Левый глаз закрыт (boolean)
  • Правый глаз закрыт (boolean)
  • Открыт рот (boolean + значение силы открытия от 0 до 1)
  • Улыбка (boolean)
  • Удивленное лицо (boolean) (только для facebook)

Пример игры:​Персонаж прыгает в момент моргания глазамиСредняя стоимость:Необходимые навыки:

Я создал телеграмм группу для публикации заказов и обсуждения вопросов, связанных с разработкой масок.

Ссылка на основную публикацию