что такое технология дополненной реальности
Технология дополненной реальности AR
Дополненная реальность – одна из многих технологий взаимодействия человека и компьютера. Ее специфика заключается в том, что она программным образом визуально совмещает два изначально независимых пространства: мир реальных объектов вокруг нас и виртуальный мир, воссозданный на компьютере.
Новая виртуальная среда образуется путем наложения запрограммированных виртуальных объектов поверх видеосигнала с камеры, и становится интерактивной путем использования специальных маркеров.
Дополненная реальность уже много лет используется в медицине, в рекламной отрасли, в военных технологиях, в играх, для мониторинга объектов и в мобильных устройствах.
Существуют три основных направления в развитии этой технологии:
«Безмаркерная» технология AR
«Безмаркерная» технология работает по особым алгоритмам распознавания, где на окружающий ландшафт, снятый камерой, накладывается виртуальная «сетка». На этой сетке программные алгоритмы находят некие опорные точки, по которым определяют точное место, к которому будет «привязана» виртуальная модель. Преимущество такой технологии в том, что объекты реального мира служат маркерами сами по себе и для них не нужно создавать специальных визуальных идентификаторов.
AR технология на базе маркеров
Технология на базе специальных маркеров, или меток, удобна тем, что они проще распознаются камерой и дают ей более жесткую привязку к месту для виртуальной модели. Такая технология гораздо надежнее «безмаркерной» и работает практически без сбоев.
«Пространственная» технология
Кроме маркерной и безмаркерной, существует технология дополненной реальности, основанная на пространственном расположении объекта. В ней используются данные GPS/ГЛОНАСС, гироскопа и компаса, встроенного в мобильный телефон. Место виртуального объекта определяется координатами в пространстве. Активация программы дополненной реальности происходит при совпадении координаты, заложенной в программе, с координатами пользователя.
Стараясь исключить технологические риски и обойти проблемные моменты, при разработке прототипа программного комплекса, мы остановили свой выбор на надежной и проверенной маркерной технологии дополненной реальности.
Так же, использование маркерной технологии имеет дополнительные преимущества в плане внедрения в методическую часть наглядных печатных материалов, используемых в общеобразовательных учреждениях при изучении конкретной темы и проведении практических работ по ней.
Примеры приложений с AR технологиями
Живая полиграфия с AR
Промо-приложение и брендирование сок «Добрый»
Раскраски с дополненной реальностью
Funreality – Платформа дополненной реальности
Селфи-маски в дополненной реальности
Визуализация скрытых объектов
Складской учёт с дополненной реальностью
Маркерная AR навигация внутри помещений
Игра-квест «Монте-Кристо» AR
Оборудование для AR технологий
Для работы с технологией дополненной реальности обязательно необходимы следующие компоненты:
Технология дополненной реальности это, в основе своей, программное обеспечение. То есть это специальные математические алгоритмы, которые связывают камеру, метки и компьютер в единую интерактивную систему.
Основная задача системы – определить трехмерное положение реальной метки по ее снимку, полученному с помощью камеры. Процесс распознавания происходит поэтапно. Сначала снимается изображение с камеры. Затем программа распознает пятна на каждом кадре видео в поисках заданного шаблона – рамки метки. Поскольку видео передается в формате 2D, то и найденная на кадре рамка метки определяется как 2D контур. Как только камера «находит» в окружающем пространстве рамку, ее следующая задача – определить, что именно изображено внутри рамки. Как только сделан последний шаг, задача системы – построить виртуальную 3D модель в двухмерной системе координат изображения камеры. И привязать ее к метке.
После этого, как бы мы ни передвигали метку в реальном пространстве, виртуальная 3D модель на ней будет точно следовать за движением метки.
К сожалению, маркерная технология, как и любая другая технология, имеет ряд возможных проблем в работе с метками. Бывает, что при движении метки объект может «соскочить» с нее или вовсе исчезнуть с экрана. Это означает, что камера просто перестала «видеть» метку. Есть пять основных причин для этого.
Вторая проблема – это расположение реальной метки в пространстве по отношению к камере. Поскольку камера должна четко и целиком видеть рамку метки, она не сможет распознать ее, если метка будет под наклоном или если область рамки будет закрыта, например, рукой. Еще одна причина – слишком быстрое перемещение метки из стороны в сторону. Большинство любительских камер просто не успевает отследить ее перемещения по частоте кадров в секунду и «теряет» метку вместе с моделью.
Если первые две сложности легко устранить, просто следуя инструкции по применению, то есть и третья, более серьезная проблема. Она связана с калибровкой камеры. Калибровка нужна, чтобы построить модель реальной камеры в компьютерном пространстве.
Для того чтобы добавить перспективу и глубину в 2D картинку, которая отображается с камеры на экран, нужно определить параметры перспективной проекции для камеры. Это можно сделать в домашних условиях, используя «шахматную доску» и специальное программное обеспечение.
И последняя проблема – это программное обеспечение. Некоторые алгоритмы распознавания могут иметь ошибки и давать погрешности во время распознавания рамки и «чтения» картинки метки. В этом случае модели могут отображаться некорректно (например, на метке с совой может появиться совсем другой объект) или вовсе исчезать с экрана.
Аппаратная часть, для реализации базовых функций технологии дополненной реальности должна решать 3 основных задачи: получать видеопоток хорошего качества, иметь возможность обработать данный видеопоток и дополнить слоем с виртуальными объектами и, конечно же, вывести обработанные данные на устройства вывода для восприятия конечным пользователем.
AR — технология будущего. Начало цикла статей посвященных этой прорывной технологии
Доброго времени суток. В этом блоге я сделаю цикл статей посвященных AR (дополненной реальности) и VR (виртуальной реальности). Также коротко коснемся так называемой «смешанной реальности». Будет круто. Держитесь покрепче за свои реальные кресла.
AR (Augmented Reality) – это технология дополненной реальности. В рамках нее, на экранах различных девайсов можно просматривать 3D-объекты, а также визуализировать несуществующие предметы в конкретном помещении. AR позволяет накладывать визуальные объекты на физическое пространство. Сочетать их.
Мы расскажем об особенностях технологии дополненной реальности. О том, где ее применяют. А также рассмотрим историю создания, и то, как работает технология.
Дополненная реальность применяется во многих странах мира. Ее используют в:
Также, AR используется и в рекламе. Ее применяют для того, чтобы создать так называемый «Вау-эффект». Более эффективно и быстро продать товар.
Впервые о дополненной реальности стало известно в 1990 году. Соответствующее название для технологии разработал сотрудник компании Boeing по имени Том Кодел. Благодаря дополненной реальности, инженеры корпорации видели виртуальные чертежи самолетов. Чтобы просматривать их в 3D, они использовали специальные шлемы с дисплеями.
В 1994 году исследователи Пол Милгром и Фумио Кисино разработали континуум «виртуальность-реальность». Продолжили работу над изучением технологии AR.
В 1997 году Рональд Азума более подробно описал, что такое виртуальная реальность. По его словам, это система, в которой скомбинированы настоящие и виртуальные объекты. Они двигаются одновременно друг с другом. И функционируют в 3D-пространстве.
Современные возможности дополненной реальности (AR) на июнь 2020
Рассказываем о возможностях AR на сегодняшний день
О дополненной реальности много говорили в 2016, когда вышла игра Pokemon Go, и в 2017, когда появились первые маски Instagram. Последние обзоры дополненной реальности, которые появляются на первых страницах поисковиков, выкладывались в 2017-2018 годах. И хотя технологии значительно выросли за последние пару лет, представление об AR осталось на уровне тех лет. Мы расскажем о том, какие появились возможности, а также что работает стабильно, что – не очень.
Что такое дополненная реальность
Используя дополненную реальность (AR), мы смотрим на мир не напрямую, а через какой-то «фильтр», который встраивает в настоящий мир виртуальные объекты так, будто они действительно там находятся. В отличие от виртуальной реальности, настоящий мир не уходит из поля зрения, а «дополняется», что и отражается в термине.
Чаще всего в качестве «фильтра» для AR используется смартфон или планшет.
Реже встречающийся способ – AR на больших экранах: в торговых центрах, на остановках в рамках рекламных кампаний и т.п. Экран становится либо «окном», в котором помимо обратной стороны показываются дополнительные объекты, либо «телевизором», показывающим зрителей и виртуальные объекты рядом.
Еще более редкий, но известный благодаря футуристичности способ – очки дополненной реальности. Используются в основном на производствах, в обычной жизни вы их скорее всего не встретите. По крайней мере не сегодня.
AR на телефоне – подробное описание возможностей
Современные системы не просто узнают какие-то элементы на изображении, но научились большему: они могут распознавать плоские поверхности, запоминать их взаимное расположение и на основе этого строить виртуальную модель окружающего пространства. Чтобы быть точным, подобные инструменты появились 3 года назад, но теперь, во-первых, они стали работать намного лучше и точнее, во-вторых, появилось намного больше телефонов и планшетов, поддерживающих такие инструменты.
Благодаря этому теперь возможна точная навигация внутри помещений. Вы можете оставить виртуальный предмет в комнате, выйти, вернуться – и телефон узнает комнату и поставит виртуальный предмет на место.
В теории, мы можем научить распознавать камеру любые объекты – библиотеки машинного зрения OpenCV находятся в открытом доступе. На практике есть инструмент, позволяющий распознавать руки (хотя и он требует доработки напильником под конкретную задачу), что используется ювелирными брендами, хуже для тех же целей распознаются уши.
Также постепенно появляются системы трекинга объемных предметов, сейчас они работают только с самыми простыми объектами (цилиндр, куб, и т.п.). Чтобы научить «видеть» сложные предметы, нужно натаскивать ИИ именно на этот предмет.
Особенно стоит сказать о такой возможности, как отслеживание уровня освещенности. Функция доступна на устройствах с поддержкой ARCore и ARKit – это введенные Google и Apple инструменты разработчиков и стандарты для устройств на базе Android (iOS) для создания эффектов дополненной реальности. Телефоны с поддержкой этих стандартов не только встраивают предметы в окружение, но и накладывают тени в соответствии с освещением. Особенно это заметно на «блестящих» виртуальных предметах. Таким образом виртуальные объекты выглядят более естественно, меньше выделяются среди настоящих объектов.
Что важно при ориентировании по плоской метке
Самым простым и доступным для большинства смартфонов вариантом остается дополненная реальность с ориентацией на метку. Но и здесь есть моменты, которые могут помешать стабильной работе.
В самой метке важны четкие границы линий и контрастность изображения. Негативно может повлиять качество печати, если после печати картинка выглядит не так, как в электронном формате. Также важно качество камеры телефона и как она реагирует на изменение освещенности: например, при офисном свете всё может работать отлично, но стоит вынести метку под уличное освещение ночью – и телефон уже «не узнает» картинку. Такие же проблемы могут возникать в затемненных помещениях и при переключении освещения.
Что важно при ориентировании в пространстве
На устройствах ARCore и ARKit заявлен трекинг любых поверхностей. На практике хорошо отслеживается пол и горизонтальные поверхности снизу относительно телефона (например, поверхность стола). Стены более-менее отслеживаются только устройствами от 2018 года. Отследить потолок на некоторых устройствах вообще не представляется возможным. Поэтому для предметов, которые нужно разместить на стенах и потолке, рекомендуем использовать по-прежнему метки. А вот с расстановкой предметов на полу или на столе уже можно работать.
При этом работа «на улице» зависит от условий: на ровных дорожных покрытиях или на подстриженном газоне отслеживание работает не хуже, чем в помещении. Если же поверхность земли не ровная, то проводятся тесты конкретного места на конкретном устройстве.
Пример работы – приложение Enter the room, позволяющее «войти» в виртуальную детскую комнату в любом месте.
Что важно при ориентировании по GPS
Важно понимать, что точность GPS-трекинга в лучшем случае плюс-минус 5 метров. Соответственно, если мы говорим только об ориентировании по GPS, о расстановке виртуальных предметов в реальности речи нет. То, что мы можем с GPS – это давать доступ к определенному контенту при приближении к ключевой точке (например, при приближении к магазину давать пуш-уведомление или запускать поиск метки на экране телефона, и по ней уже запускать AR-эффект). Именно так работает с GPS игра Pokemon Go: при приближении к определенному месту появляется возможность поймать покемона.
AR без специальных приложений
Обычно AR ассоциируется со специальным приложением, которое нужно скачать и дать доступ ко всем датчикам на телефоне. Убедить человека скачать и установить приложение, о котором он раньше не слышал – отдельная и непростая задача для маркетинга. Но с развитием стандартов WebVR и WebXR появилась возможность показать дополненную реальность напрямую в браузере. Функционал при этом меньше, чем у отдельных приложений, но для продаж и ритейла такое решение часто предпочтительнее.
Еще существует компромиссное решение – приложение, которое уже установлено у пользователя, или с которым он по крайней мере знаком. Речь идет об AR-функционале Instagram, Facebook, Snapchat и Вконтакте. В таком случае мы ограничены в функциях, размерах модели и не можем изменить интерфейс, но при этом экономится время на создание архитектуры приложения и его публикацию в магазинах. Для коротких PR-кампаний – самое то.
AR и фотореалистичность
Увы, AR в качестве рисуемой картинки ограничен вычислительными мощностями «железа», на котором запущен. Ролики в интернете, которые подписываются как дополненная реальность, часто являются видеомонтажом. Также качество эффекта может сильно отличаться при запуске на разных устройствах: то что на флагмане выглядит идеально, на телефонах бюджетного сегмента работает со сбоями (объект «скачет», «съезжает» и т.п.) или вообще не работает.
Тем не менее, в среднем телефоны продолжают «умнеть», графика давно переросла Pokemon Go и с каждым годом становится лучше. Также стоит помнить, что насколько хорошо будет работать то или иное приложение на телефоне или планшете, зависит не только от поддержки технологии, но и от приложения – насколько оно оптимизировано. Поэтому в разработке AR-приложений огромное внимание уделяется тестированию – тестирование и доработки часто занимают больше времени, чем создание первой версии.
AR на большом экране
Дополненная реальность на стационарном экране намного проще и имеет много ограничений. В целом есть два варианта.
1) Экран находится близко к зрителю, а за экраном много свободного пространства. Тогда за экраном ставится камера, и экран становится «окном», через которое смотрит зритель. К обычному виду добавляются виртуальные события и предметы. Эффект становится сильнее, если мы знаем заранее где будет стоять зритель – тогда мы настраиваем камеру так, чтобы изображение было максимально приближено к виду из настоящего окна. Поэтому чаще всего такие экраны устанавливают на остановках общественного транспорта: головы сидящих на скамейках людей примерно на одном уровне, под них и настраивается экран. При этом если посмотреть на экран из транспорта, ощущение «окна» не возникнет.
2) Экран далеко от зрителя, перед экраном достаточно большое пространство. В этом случае камера направляется на зрителя, экран становится «телевизором» и уже со зрителем происходят разные активности. Кроме самого по себе эффекта «мама, я в телевизоре», мы можем создать активность с конкретным человеком. Для этого мы либо обозначаем на полу определенную зону, куда нужно встать, чтобы стать частью виртуально происходящего события (старый вариант), либо подключаем распознавание лиц и «цепляем» людей из толпы программно (современный вариант).
Таким же образом работают AR-примерочные и AR-зеркала: мы видим себя в экране напротив, а поверх накладывается виртуальный контент.
Очки дополненной реальности
На данный момент существует большой выбор AR-очков с ценами от 50 тысяч рублей до десятков тысяч долларов. Обзор очков может занять отдельную статью, но основная причина, по которой они обычно лежат на складах – большой разрыв между ожиданиями и реальностью. В очках дополненной реальности возникает ощущение, что перед глазами просто монитор компьютера. Это удобно в том плане, что компьютер перед глазами, а руки свободны, но до «встраивания» виртуальных объектов в реальный мир и манипуляции с ними пока далеко. Прорыв в очках виртуальной реальности случился четыре года назад, у очков дополненной реальности такой прорыв еще впереди.
Если вам нужна помощь в создании собственного приложения для дополненной реальности, то просто позвоните нам или напишите нам на почту info@helmeton.ru. Мы с радостью поможем вам!
Вокабулярий
ARCore – инструмент разработчиков и стандарт для производителей устройств на базе Android. Телефон анализирует поверхности помещения, которые видит, и запоминает их. Строит виртуальную модель вашей комнаты, поэтому даже если отвернуться от объекта, он останется там. Если выйти из комнаты и вернуться, объект останется на месте, т.к. телефон «вспомнит» эту комнату. Также отслеживается перемещение телефона в пространстве, чтобы смартфон понимал, где он находится, и отслеживает освещенность. Эту систему поддерживают телефоны на базе Android 7.0 и выше.
ARKit – инструмент разработчиков для iOS, функционал аналогичен ARCore, на уровне пользователя разница незначительна.
ARFoundation – надстройка, которая объединяет ARKit и ARCore и позволяет программистам создавать одно приложение под две платформы.
Open CV – библиотека компьютерного зрения. Здесь же распознавание лиц, здесь же и машинное обучение для распознавания чего-то другого.
Vuforia – инструмент разработчиков для создания AR на базе картинок-меток.
MediaPipe Hand Tracking – инструмент разработчиков, позволяющий отслеживать движения кисти и пальцев в реальном времени.
Список устройств с поддержкой ARCore:
содержит более 200 моделей, полный список здесь:
Список устройств с поддержкой ARKit:
iPhone SE; iPhone 6s и iPhone 6s Plus; iPhone 7 и 7 Plus; iPad Pro 9,7 и iPad Pro 12,9 (2016); iPad 9,7 (2017); iPad Pro 10,5 и iPad Pro 12,9 (2017) и все более поздние модели.
AR-жизнь: применение и перспективы дополненной реальности
Рассказ основателя Indium Lab о существующих технологиях и их развитии.
Основатель Indium Lab Александр Ситников написал для DTF статью о прошлом, настоящем и будущем AR-решений на конкретных примерах.
Активное обсуждение технологии дополненной реальности (AR) перезапустилось в 2016 году с приходом больших игроков и запуском проектов виртуальной реальности (VR). Казалось бы, где связь? Связь в парадигме потребления контента пользователями и осознании того, что наша реальность может быть модифицирована и улучшена, а также в сдвиге мышления — переходе от 2D-картинок в полноценную 3D-визуализацию.
Если задуматься, технологии часто задают паттерны мышления людей, которые с ними связаны. Изобретение печатного станка позволило научить миллионы людей мыслить словами и текстами. Появление изображений сдвинуло мышление в сторону плотной 2D-визуализации блоков информации, появление видео дало нам возможность осознать концепцию динамического 2D-контента.
Сейчас проходит очередной рубеж. Пока только в головах проектировщиков AR/VR-технологий и первой базы пользователей, которые изучают этот контент. Это рубеж перехода из текстового/визуального 2D в 3D-визуальное мышление. И за счёт этого перехода постепенно развиваются AR\VR-технологии.
Переход необходим из-за непрерывного увеличения информационного потока. Из-за обилия информации мы уже почти не способны потреблять её на уровне текстового контента. Тренд последних пяти лет — видео. Оно позволяет более сжато получать информацию за тот же промежуток времени. Сейчас для многих уже стало нормой одновременное потребление контента с двух мониторов и экрана телефона.
Человеческий мозг смог адаптироваться к современному потоку. Но и этого уже не хватает. Мы как информационная губка, которая может поглощать и обрабатывать невероятное количество информации. Получая её из более чем трёх источников или визуальных образов, мы без труда можем быть мультизадачными. А что, если нужно 20-30 задач, образов одновременно?
Ограничение не в том, что мозг не сможет обработать данные массивы информации в реальном времени. «Бутылочное горлышко» — системы вывода и визуализации информации и удобство взаимодействия с ней. Можно установить 20 мониторов, но даст ли это результат? Скорее всего нет, слишком сложно будет их использовать. А если эти 20 мониторов, а скорее даже точек вывода/ввода информации, будут расположены вокруг вас? Что, если они будут появляться ровно в тех местах, в которых нужны, и после выполнения своей задачи — исчезать? Если весь наш физический мир станет «монитором»?
В ближайшем будущем мы будем мыслить критериями 3D-пространства и использовать его полностью, а не только через информационные окна (экраны мониторов и мобильных телефонов).
Основа 3D-мышления — восприятие мира как информационного монитора с возможностью взаимодействия с нужной вам информацией в любой точке. Это основной тренд современности, в который вкладываются все IT-гиганты.
И одной из точек генерации информации является технология дополненной реальности.
Расхожее утверждение: «всё уже было придумано до нас». Если вы думаете, что AR появилась с выходом Pokemon Go или Snapchat — это не так.
Первая технология дополненной реальности была разработана в 1968 году в Гарварде, когда ученый Иван Сазерленд (Ivan Sutherland) создал носимую систему отображения информации с возможностью проецирования виртуальной среды на физическую. С тех пор десятки компаний и лабораторий занимались развитием и усовершенствованием технологии. Её начали активно использовать в авиационных, промышленных и военных целях.
1992 год ознаменовал рождение термина «дополненная реальность». Впервые он появился в Boeing, в работе «Augmented reality: an application of heads-up display technology to manual manufacturing processes», которая была призвана помочь сотрудникам завода самолётов, отображая схемы сборки пучков кабелей.
Не отставали и разработчики игр. Ещё в 1998 году была сделана попытка перенести в AR Quake. Проект так и назывался — ARQuake. Он проецировал игровой процесс на стену.
Только в 2008 году появилось первое коммерческие AR-приложение. Его разработали для рекламы автомобиля BMW Mini. Это была одна из первых маркетинговых кампаний, позволивших взаимодействовать с цифровой моделью в режиме реального времени.
Но официальным стартом «бума» дополненной реальности стоит считать 2010 год. Тогда журнал Time первый раз внёс дополненную реальность в список технологических трендов будущего.
Так же в это время большие бренды начали использовать данную технологию в своих маркетинговых целях.