DOU Labs: как в Sigma Software разработали приложения для AR очков Sony SmartEyeglass
В рубрике DOU Labs мы приглашаем IT-компании делиться опытом собственных интересных разработок и внутренних технологических инициатив. Вопросы и заявки на участие присылайте на Данный адрес e-mail защищен от спам-ботов, Вам необходимо включить Javascript для его просмотра. .
Статья написана в соавторстве с моим коллегой Сергеем Бакаенко.
Дополненная реальность — активно растущий мировой тренд. Слышали о нем все, а вот поработать над проектами для дополненной реальности удавалось, пока еще, немногим. На то есть несколько причин. Во-первых, несмотря на то, что многие компании инвестируют сегодня в развитие AR девайсов, фактически все AR девайсы сегодня лишь на начальной стадии развития, сырые и недоработанные. А во-вторых, эти девайсы еще и стоят недешево, и купить их можно далеко не везде.
Хочу рассказать о своем опыте разработки двух приложений для очков дополненной реальности Sony SmartEyeglass.
Есть большое количество промо-роликов, которые показывают возможности этих очков. На них все выглядит действительно очень круто, и ты понимаешь — это будущее. Но когда мы принялись за работу, все оказалось не так гладко и хорошо, как в рекламных роликах.
Изначально, идея приложения состояла в том, чтобы с помощью камеры, встроенной в очки, считывать штрих-коды любых товаров. Пользователю на экран при этом выводится полная информация о продукте: название, страна-производитель, стоимость, вес и т.д. Поначалу, экспериментировать с эдаким подобием «зрения Терминатора» было забавно, но со временем стало понятно, что сама по себе функция считывания штрих-кодов в контексте дополненной реальности не несет в себе большой практической пользы.
Следующая версия приложения основывалась на предыдущем решении, но это приложение было гораздо полезнее при использовании в повседневной жизни. Бывала ли у вас ситуация, когда вы набрали много продуктов в супермаркете, а на кассе вам озвучивают общую сумму покупки заметно больше той, что вы ожидали? Наше приложение поможет избежать таких неприятных ситуаций. С его помощью, покупатель может сканировать коды всех товаров, добавлять их в виртуальную «корзину» и видеть стоимость своей покупки еще до того, как дойдет до кассы.
Техническая часть
На сегодняшний день сами очки в нашей стране купить невозможно, да и те версии, которые есть в продаже на Западе — пока предназначены только для разработчиков. Стоит такое удовольствие ни много, ни мало — 800$. Для тех, у кого очков нету, но поэкспериментировать с дополненной реальностью очень хочется — на сайте Sony есть подробное описание установки эмулятора очков, так что, даже не имея их, вы можете попробовать разработать собственное приложение и «прикоснуться к прекрасному» ☺ Хочется отметить, что у Sony очень подробная документация по настройке и запуску этих очков, как и разработки приложений для них.
В силу специфики девайса, в руководстве для разработчиков есть также пункты о безопасности, весьма специфические и характерные именно для дополненной реальности. Суть AR девайсов — дополнять мир, который человек видит через очки, выводить на дисплей дополнительную информацию, которая, в то же время, не отвлекает внимание пользователя. Например, если человек находится за рулем автомобиля или за штурвалом самолета, надолго переключать внимание на информацию в дополненной реальности ему ни в коем случае нельзя. Все это нужно учитывать разработчикам при создании приложений.
Прежде чем приступать к работе, нужно понять, как будет использоваться решение — будет ли пользователь сидеть на месте, ходить или что-то делать. Для каждого случая прописаны рекомендации от Sony: если человек находится в движении, на дисплей очков должно выводиться как можно меньше текста, а его размер должен быть как можно больше. При этом пользователь должен понимать, на каком уровне приложения он находится, сколько бы он им не пользовался. Поэтому очень сложные приложения с большой вложенностью экранов Sony настоятельно советуют не делать.
Очки Sony не могут работать отдельно от телефона (в данном случае, это может быть только Android 4.4 и выше), и все процессы, которые происходят у вас на экране очков, обрабатываются на телефоне и передаются с помощью Bluetooth или Wi-fi.
У Sony также есть свои SDK для разработки приложений, без использования которых очки просто не будут видеть установленное на девайсе приложение. Не буду вдаваться в подробности, так как все описано на сайте Sony предельно понятно и в этом несложно разобраться.
Хочется отметить, что на многие вещи Sony накладывает ограничения, поэтому нам не удалось работать напрямую с камерой, получая с нее видеопоток в реальном времени и выводя на экран маркер при распознавании границ штрих-кода. Потому, для считывания штрих-кодов мы делали фото с камеры, и потом на фото уже проверяли наличие штрих-кода в базе. Разумеется, это менее удобный вариант, но на тот момент — единственный, который мог решить поставленную перед нами задачу.
Наложили свой отпечаток и ограничения в плане UI. Нам не хватало элементов, которые предлагает Sony, поэтому, например, мы использовали диалоговое окно от Sony и превратили его в подобие меню для нашего приложения. Получилось довольно неплохо ☺
Результаты
Наша разработка изначально велась на эмуляторе (очки приехали позже), и мы столкнулись с проблемой того, что новые приложения, которые мы ставили на девайс, эмулятор упорно не видел. Как бы банально это ни звучало, эти проблемы позволил решить обычный reset телефона. Такая же проблема была и уже с самими очками, когда они приехали к нам.
В целом, это был интересный опыт для нас и для дизайнеров, которые рисовали UI для приложения, так как до этого никто не работал с AR.
Хочется отметить, что сам девайс еще на ранней стадии развития, и супер-инновационных решений на нем сделать, увы, не получится. Тем не менее, даже сейчас работать с такими вещами очень интересно.
