Как в Live Animations создали AR-контент для книги Alif and Sofia, которая учит мусульманских детей молиться
В рубрике DOU Labs мы приглашаем IT-компании делиться опытом собственных интересных разработок и внутренних технологических инициатив. Вопросы и заявки на участие присылайте на Данный адрес e-mail защищен от спам-ботов, Вам необходимо включить Javascript для его просмотра. .
Всем привет! Я Сергей Хухра, CTO AR-студии Live Animations. Мы создаем контент и маркетинговые решения, используя технологию дополненной реальности. Я хочу рассказать, как наша команда работала над одним из самых необычных проектов за наши 5 лет на этом рынке — Alif and Sofia. Мы создали AR-контент для детских книг, которые рассказывают мусульманским детям, как правильно совершать обряд молитвы.
Идея
Сама идея книг с дополненной реальностью, конечно же, не нова. Этот подход стал популярным еще во времена, когда AR только входила в нашу жизнь, и с тех пор вполне успешно применяется с пользой для целевой аудитории, которая состоит преимущественно из детей. Ведь AR-контент — именно то, что может превратить чтение в интерактивное приключение, а это положительно влияет и на увлеченность читателей, и на восприятие произведения. Другое дело, что в столь устоявшихся сферах, как религия, новые способы подачи информации всегда внедряются очень неохотно. Ислам, как одна из самых консервативных религий, особенно осторожно относится к инновациям и технологиям в культурном образовании детей.
Тем более неожиданно для нас было осенью 2018 года получить из нашего офиса в Нью-Йорке новость о том, что от малазийской компании Big Bad Wolf поступил заказ на создание AR-контента и мобильного приложения для детских книг про мальчика Алифа и девочку Софию, которые учат детей, как правильно совершать исламский обряд молитвы. Хотя к тому времени мы и создали AR-контент уже для более чем 15 книг, такая тематика была для нас совершенно новой.
Эти персонажи очень популярны среди детей в исламском мире, уже были иллюстрации, мультики, книги с ними, но еще никогда они не «оживали» в AR. C одной стороны, это существенно облегчило работу нашим дизайнерам, ведь персонажи были уже готовы, не нужно было ничего придумывать. А с другой — наши AR-персонажи должны были быть точь-в-точь такими, как требовал заказчик, что не позволяло отклониться от узнаваемого стиля ни на йоту. Поэтому, забегая вперед, скажу, что правок во внешний вид и анимации Алифа и Софии мы вносили огромное количество.
Главной целью проекта с учетом его тематики было сделать обучение исламским традициям и обрядам детей, живущих в странах Юго-Восточной Азии, более интересным и вовлекающим с помощью технологии AR. Заказчик хотел сделать книги не просто очередными детскими рассказами об обычаях ислама, а интерактивными медиаисториями с музыкой, песнями и танцами. Между прочим, до начала работы над этим проектом мы не знали, что в Индонезии живет наибольшее число мусульман в сравнении с другими странами.
Это был первый проект подобного рода в мусульманском мире, а потому начинать работу было вдвойне интересно: мы хотели посмотреть, как AR «ляжет» на столь консервативную тематику.
Как работает проект
Проект включает в себя набор AR-анимаций (по 12 для каждой книги) и мобильные приложения под iOS и Android для воспроизведения этих анимаций. Имея успешный опыт разработки мобильных приложений для детских книг, мы создали приложение по уже отработанному шаблону, добавив только уникальный дизайн в новой стилистике. При этом набор функций приложения дает пользователю возможность использовать AR-контент по максимуму. Приложение может:
- распознавать маркеры в виде рисунков на страницах для запуска соответствующих AR-анимаций;
- воспроизводить AR-контент в 3D с привязкой к книжным страницам (или просто закрепив сцену на экране телефона);
- делать снимки и записи экрана, чтобы делиться ими в соцсетях.
Помимо этого, приложение дает возможность взаимодействовать с AR-контентом.
Например, когда ребенок успешно пройдет все этапы обучения, в AR-анимации на последней странице его ждет интерактивная раскраска: нужно сначала раскрасить то, что он видит на экране, а потом вся сцена оживает именно в тех цветах, которые выбрал читатель.
Весь AR-контент хранится на сервере и предоставляется по запросу программы, поэтому пользователю не нужно загружать объемное приложение с маркетплейса. Мы также упростили интерфейс мобильного приложения и сделали его максимально доступным для целевой аудитории. Оно открывает камеру по нажатию одной кнопки на главном экране и сразу готово к распознаванию страниц и воспроизведению AR-контента.
После установки и запуска приложения пользователю нужно лишь перейти в режим камеры, открыть книгу и навести камеру на страничный разворот, чтобы увидеть AR-контент. Анимации можно смотреть прямо на книжных страницах, разглядывая их со всех сторон, или можно для удобства прикрепить AR-сцену к центру экрана смартфона.
Реализация
Создать 12 AR-анимаций для каждой из двух книг (пусть некоторые из анимаций и были одинаковыми для обоих персонажей) и собрать это все в приложение — задача, которая требует значительных ресурсов и усилий большой команды. По сути, моделинговая и аниматорская работа шла не над двумя персонажами (мальчик Алиф и девочка София), а над четырьмя: модель Софии есть как в обычной одежде, так и в традиционной парандже, а Алиф может быть то в шапочке и босиком, то без шапочки и в кроссовках.
В проекте была задействована команда в составе одного текстурщика, пяти моделлеров, семи аниматоров и пяти девелоперов. Наши моделлеры вообще специалисты довольно универсальные — они часто помогали текстурировать персонажей и объекты.
Что касается девелоперов, то один из них занимался редизайном и адаптацией приложения конкретно под этот проект и сборкой UX/UI, один был ответственен за размещение в сторах, двое работали над спецэффектами, еще один — над компасом в приложении.
Кстати, компас — это вообще уникальная штука, над которой мы изрядно попотели. Известно, что все мусульмане во время молитвы должны смотреть в сторону Каабы, расположенной в Мекке. Изначально мы хотели внедрить компас в трехмерное пространство, прямо в AR-контент, который воспроизводится при наведении на иллюстрацию.
Такая идея, как AR-компас, была совершенно новой для девелоперов, и, чтобы реализовать ее, отдельный человек отвечал за сложные вычисления сферических координат, широты, долготы и просчитывал различные сценарии геолокаций (даже виртуально переносился в Японию!). Несмотря на все усилия, после нескольких тестов мы так и не смогли добиться того, чтобы на всех девайсах указывалось строго одно направление. Находясь друг рядом с другом, они отображали стрелки этого компаса, «смотрящие» в разные стороны. Смирившись с этим, мы честно признались заказчику, что для наиболее точных показаний лучше всего будет просто внедрить компас в UI приложения.
Разработка началась в ноябре 2018 года, и, так как все специалисты, задействованные в проекте, состоят у нас в штате, за время реализации проекта состав команды не менялся. Озвучка персонажей — это единственное, что мы отдали на аутсорс. Так как мы уже давно набили руку в проектах с AR для книг, рабочий процесс состоял из привычных нам стадий.
Техническая реализация
С технической точки зрения мы используем движок Unity, с которым работаем уже довольно давно. Из-за того, что наше приложение должно без проблем функционировать на множестве девайсов всех ценовых категорий, Unity позволяет максимально оптимизировать AR-контент, который наши аниматоры и моделлеры создают с помощью Maya и Maya 3D. А чтобы вывести весь этот контент, мы используем Vuforia в качестве надстройки.
Конечно же, помимо разработки и оптимизации контента, необходимо подготовить работающее мобильное приложение, которое будет все это воспроизводить, создавая привлекательный user experience. Над последним мы, кстати, заморачиваемся особенно сильно, ведь без него невозможно получить высокий рейтинг в сторах, а для нас это очень важный показатель качества. Именно поэтому приложение Alif and Sofia было написано с нуля на C#+Mono с использованием почти 500 оригинальных скриптов. В итоге программисты потратили больше трех недель на то, чтобы создать стилизованное приложение, и еще неделю, чтобы добавить все анимации, спецэффекты и т. д.
Качество для нас было в приоритете, поэтому технология создания окружения для персонажей была полностью ручной. Используя только цвет и карту высот, все текстуры мы создавали вручную. В то время, когда так популярны автоматизированные процессы для отрисовки бликов и других эффектов, наши специалисты рисовали все сами прямо в текстурах. По словам команды, которая работала над созданием контента, такой индивидуальный подход был вызван тем, что над этим проектом было приятно работать благодаря симпатичным персонажам (Алиф вообще влюбил в себя всю команду) и необычности культурной составляющей.
Без сложностей, конечно же, не обошлось. К истории про компас добавились сложности в работе с анимациями и огромное количество правок от заказчика, связанных с культурными нюансами проекта. Сначала расскажу о сложностях анимирования. Внешний вид персонажей полностью зависит от традиций ислама, и если мальчик Алиф во всех сценах носит одну и ту же одежду, меняя только головные уборы и обувь, то девочка София буквально проходит через метаморфозу: из одетой современно она превращается в полностью закутанную в специальную паранджу.
С точки зрения 3D-моделинга полная паранджа является очень сложным техническим элементом, когда персонаж не просто стоит, а постоянно меняет позы: все изгибы и складки, то, как они ложатся на тело, должны быть продуманы до мелочей, чтобы избежать неестественности финальной картинки. Неудивительно, что на создание Софии команда 3D-моделлеров проекта потратила в два раза больше времени, чем на Алифа. И хотя 3D-модели обоих персонажей были предоставлены заказчиком, чтобы избежать компромиссов в качестве, пришлось заново создавать модели специально под этот проект.
Правки, которые поступали от заказчика, были обусловлены не плохим качеством работы, а культурными особенностями: исправлять надо было анимации, то, как должны двигаться персонажи и какие действия они должны совершать. Столкнувшись с новой культурой, наши ребята не всегда могли с точностью воспроизвести все характерные движения, требуемые исламскими обрядами. Например, при троекратном омовении водой необходимо было сделать так, чтобы Алиф каждый раз набирал в ладошки новую воду, а не использовал ту, что осталась после предыдущего омовения. Этого мы не знали, и поэтому пришлось переделывать. Отполированный с учетом всех правок проект Alif and Sofia был передан заказчику в апреле
Результаты и планы
Alif and Sofia стал одним из самых успешных среди наших проектов. В день презентации книжек на самой большой книжной выставке Азии Big Bad Wolf количество запросов на наши серверы (а AR-контент хранится именно там) превысило 150 тысяч в час, тогда как рассчитаны они были на 300 тысяч запросов в день — серверы не выдержали и легли, но мы быстро устранили эту неполадку. Такой интерес еще больше убедил нас в том, что технологии могут заработать даже в такой консервативной сфере, как мусульманская культура.
Сейчас мы работаем над расширением проекта: книги перевыпускаются на малайском языке, и мы добавляем его в приложение к уже существующему индонезийскому. Таким образом мы готовим проект к выходу на новые рынки, адаптации для других исламских стран и общему расширению аудитории. Также в планах — добавление функционала ARKit и ARCore для распознавания поверхностей и воспроизведения AR-контента на них.
