ТЕХНОЛОГИЯ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ КАК СРЕДСТВО ПОДДЕРЖКИ ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА

В данной работе раскрывается понятие технологии дополненной реальности и рассматривается роль информационных технологий в образовательном процессе. Автором уделяется внимание структуре приложения дополненной реальности и алгоритму его работы. Приводятся варианты использования технологии дополненной реальности в учебном процессе. Произведен обзор существующих разработок в данной области.

Введение

Дополненная реальность (Augmented reality, AR) – это технология, которая позволяет в режиме реального времени накладывать различные виды информации (текст, 2D и 3D графика, аудио) на объекты реального мира.

Пол Милгром и Фумио Кисино в 1994 году описали термин континуум «виртуальность - реальность» - это пространство между реальностью и виртуальностью, в промежутке между которыми находятся дополненная реальность и дополненная виртуальность (Рисунок 1). Дополненная реальность находиться ближе к реальности, а дополненная виртуальность наоборот к виртуальной реальности [1].

В 1997 году Рональд Азума в своей работе «Исследование дополненной реальности» сформировал основные принципы, которые характерны для системы, использующей дополненную реальность:

1. Комбинирование реального и виртуального;
2. Взаимодействие в режиме реального времени;
3. Работа с трёхмерным пространством.

Можно сказать, что дополненная реальность – это технология интеграции виртуальных объектов в реальный мир [2]. На рисунке 2 показан процесс возникновения дополненной реальности.

Роль современных информационных и коммуникационных технологий в совершенствовании и модернизации текущей системы образования остается важной на протяжении многих лет. А с внедрением в учебный процесс относительно недорогих и доступных компьютеров и другой вычислительной техники, которые объединяются в сети или имеют доступ к Интернету, увеличивается доступность использования информационных технологий в образовании. Для внедрения новых информационных технологий и как следствие модернизации системы образования потребуется современное техническое оснащение учебных заведений и соответствующая подготовка преподавателей.

В настоящий момент использование информационных технологий в образовании привело к следующему:

1. Новые формы представления информации (мультимедийная информация, включающая не только текст, но и графические изображения, анимацию, звук и видеофрагменты).
2. Интернет библиотеки и электронные каталоги.
3. Новые формы учебных занятий (виртуальные семинары и лаборатории).

Программное обеспечение, которое используется в образовании, можно разбить на следующие категории:

• обучающие, контролирующие и тренировочные системы,
• системы для поиска информации,
• моделирующие программы,
• микромиры,
• инструментальные средства познавательного характера,
• инструментальные средства универсального характера,
• инструментальные средства для обеспечения коммуникаций.

В обучение существует большая потребность визуализации (моделирования) различных процессов и предметов, которые невозможно воспроизвести и показать в учебной аудитории или лаборатории. Это является главной причиной распространения моделирующих программ.

В основе компьютерного моделирования может находиться математическая модель, лабораторный эксперимент или анимация, которая представляет работу некоторого механизма, протекание процесса, строение сложного предмета и т.д. В моделирующих программах возможно широкое использование интерактивной графики, которое позволяет обучаемому не только наблюдать за происходящим, но и воздействовать на параметры объектов, исследуя при этом эффекты, которые влияют получаемый результат [3].

Именно приложения дополненной реальности дают возможность визуализации процессов и предметов, которые необходимо, но невозможно продемонстрировать в учебной аудитории. Поэтому вопрос об использовании технологии дополненной реальности для поддержки образовательного процесса является одним из самых актуальных в сфере использования новых информационных технологий в образовательном процессе.

Структура приложения дополненной реальности

Структура приложения дополненной реальности, которое служит для моделирования или визуализации сложных процессов и предметов, состоит из четырех основных модулей (рисунок 3):

1. Модуль отслеживания камеры;
2. Модуль хранения объектов;
3. Модуль визуализации;
4. Модуль пользовательского интерфейса.

Видеопоток с камеры устройства передается в модуль отслеживания камеры. Данный модуль обрабатывает каждый кадр видеопотока: выполняет поиск заданного заранее маркера, определяет положение маркера в пространстве и на основе этих данных вычисляет положение виртуальной камеры относительно маркера. После того, как положение и ориентация камеры определенны, модуль хранения объектов помещает на сцену необходимый объект для визуализации, используя заранее определенные параметры положения, масштаба и поворота. Далее происходит визуализация модели с использованием сдвига по отношению к расчетной позиции и согласованием с ориентацией. Пользователь может влиять на параметры модели и визуализации при помощи пользовательского интерфейса.

Алгоритм работы приложения дополненной реальности

Разрабатываемое приложение дополненной реальности работает по алгоритму, который представлен на рисунке 4.

Рассмотрим работу данного алгоритма. В самом начале работы приложения происходит инициализация камеры устройства, получение видеопотока с данной камеры и выделение из потока отдельного кадра, для последующей работы с ним. Далее на выделенном кадре происходит поиск маркера. Если маркер найден, то происходит его идентификация, в противном случае приложение выделяет новый кадр. Если маркер не удалось идентифицировать, то приложение также возвращается к шагу получения кадра из видеопотока. В случае успешной идентификации маркера происходит расчет матрицы преобразования, на основе которой в следующем шаге происходит преобразование виртуальных объектов и позиционирование виртуальной камеры. Далее осуществляется визуализация виртуальных объектов поверх видеопотока. Следующим шагом обрабатывается пользовательский ввод, в случае необходимости приложение завершает свою работу.

Варианты использования технологии дополненной реальности в образовательном процессе

Технологию дополненной реальности на основе распознавания маркеров можно применять для поддержки образовательного процесса в следующих дисциплинах: естественные науки, анатомия, дизайн, 3D моделирование. САПР и т.д. [4]. Специальные маркеры, которые используются приложением дополненной реальности можно встраивать в электронные учебники, слайды презентации, печатные материалы и т.п.

Во время получения нового материала по определенной дисциплине, обучающие смогут получить реалистичную визуализацию модели или процесса, которые невозможно продемонстрировать в учебной аудитории. Например, изучая анатомию человека, дополненная реальность дает обучаемому возможность подробно ознакомиться со строением каждого органа человека. Для этого необходимо лишь запустить приложение дополненной реальности и навести камеру устройства на маркер.

Обзор программных библиотек для разработки приложения дополненной реальности

В основе любого приложения дополненной реальности, использующего анализ поступающей с камеры картинки, лежит система компьютерного зрения. Одной из наиболее известных библиотек, реализующих подобный функционал, является OpenCV. Она предоставляет достаточное количество низкоуровневых возможностей и очень хороша для извлечения максимума информации из изображения. Но для приложений дополненной реальности требуется быстро и качественно найти в кадре ограниченный набор заранее известных объектов и отобразить поверх изображения виртуальный объект [5].

Именно этой задачей занимаются различные библиотеки дополненной реальности [6]. Можно выделить пять наиболее популярных библиотек:

1. Vuforia, разработан компанией Qualcomm, распространяется на платной и бесплатной основе, поддерживает Android, iOS, Unity;
2. ARToolkit, разработан компанией DAQRI, распространяется на бесплатной основе, поддерживает Android, iOS, Windows, Linux, Unity;
3. WikiTude, разработан компанией Wikitude GmbH, распространяется на платной основе, поддерживает Android, iOS, PhoneGap, Xamarin.
4. LayAR, разработан компанией BlippAR Group, распространяется на платной основе, поддерживает Android, iOS, BlackBerry.
5. Kudan, разработан компанией Kudan Limited, распространяется на платной основе, поддерживает Android, iOS, Unity.

Список литературы

1. P. Milgram, F. Kishino, Taxonomy of Mixed Reality Visual Displays // IEICE Trans. Information Systems. – 1994. – No 12. – P. 1321–1329.
2. R. Azuma, A Survey of Augmented Reality // In Presence: Teleoperators and Virtual Environments. – 1997. – No 4. – P. 355–385.
3. И. Г. Захарова, Информационные технологии в образовании. М.: Издательский центр «Академия», 2003. – C. 7–60.
4. Б.С. Яковлев, С.И. Пусто, Классификация и перспективные направления использования технологии дополненной реальности // Известия ТулГУ. Технические науки. – 2013. – № 3. – С. 484-492
5. Прокачай свою реальность [Электронный ресурс] // Режим доступа: https://xakep.ru/2011/08/24/56240/. – Загл. с экрана. – (Дата обращения : 05.12.2016).
6. Обзор AR-библиотек для создания приложений c дополненной реальностью [Электронный ресурс] // Режим доступа: http://www.azoft.ru – Загл. с экрана. – (Дата обращения : 20.01.2017).

Рисунки к докладу

Континуум «Реальность-Виртуальность»

Процесс возникновения дополненной реальности

Структура приложения дополненной реальности

Алгоритм работы приложения дополненной реальности

Кокарева Яна Андреевна (22 марта 2017 г. 10:24)	Светлана Михайловна, Даниил Александрович, спасибо за интересный и актуальный доклад. Мы на кафедре сейчас тоже думаем вплотную заняться дополненной реальностью и виртуальной реальностью. С уважением, Кокарева Я.А.
Лепаров Михаил Николаевич (22 марта 2017 г. 13:10)	Здравствуйте, Светлана Михайловна и Даниил Александрович! Спасибо большое за возможность познакомится в сущность  быстро развивающаяся дополненной реальности. У вас есть ли опыт ее применения в учебном процессе? Если да- пожалуйста поделитесь (где именно, подготовка, проблемы). Пожалуйста, извините  мой  русский. С уважением млепаров
Вольхин Константин Анатольевич (23 марта 2017 г. 5:40)	Здравствуйте, Светлана Михайловна и Даниил Александрович! Знакомы ли Вы с разработками компании «ГРАФИКА», образованной группой специалистов Института автоматики и электрометрии Сибирского отделения Российской академии наук, г. Новосибирск. У них есть интересная разработка – «виртуальный презентер». Программный комплекс, позволяющий реализовать смешение информационных потоков с возможностью как трансляции в режиме реального времени, так и делать записи. Я попробовал записать фрагмент лекции по начертательной геометрии, в общем приобрел интересный опыт. Но дальше этого не пошло, т.к. для очной формы обучения это лишние, а дистанционные у нас еще не получили достойного развития. С уважением К.А. Вольхин