Назад Go Back

ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИЙ ЗАХВАТА ДВИЖЕНИЯ ПРИ МУЛЬТИМЕДИЙНЫХ ПРЕДСТАВЛЕНИЯХ «ОЖИВШИХ КАРТИН»

Фото Мокрецова Людмила Олеговна (Национальный исследовательский технологический университет "МИСиС")

Соавтор(ы): Катников А.А, Васильев М.В.

Аннотация

The article outlines the advantages of using motion capture technologies in the development of "Animated Pictures", as well as motion capture systems that allow you to create realistic character animations in a picture.



Ключевые слова: motion capture, animated pictures, software, animation.

Степень магистра в области Прикладной информатики в дизайне предлагают несколько университетов в России. Это направление имеет родственные корни с Графическим дизайном в направлении Дизайн. Однако, информатик-дизайнер осуществляет процесс использования компьютерных технологий для множества различных областей графического дизайна. Приобретает все большее значение анимация  и визуализация различных моделей, выполненных как для проектирования, рекламы ,дополненной реальности и т . д . Таким образом, роль графического дизайнера или информатика-дизайнера занимает центральное место в любом продукте и в определении того, как конкретный продукт будет работать на рынке. Такой вид дизайна включает в себя изобразительное искусство, графику, иллюстрирование и служит  для того, чтобы сделать соответствующий продукт визуально привлекательным. Специалист( бакалавр или магистр) в области прикладной информатики в дизайне используют эффективный инструмент в виде современных программных средств и компьютерных комплексов. Студенты магистерской программы в области дизайна получают практический опыт и шанс осуществить многие проекты в рамках программы, а также приступить к работе с реальными клиентами. Это дает им возможность получить воздействия и практические навыки в развитии их карьеры. Вероятная карьеры для выпускников включает работу в таких областях, как: мультимедиа, графика, выставочная индустрия, реклама, брендинг и т.д.

Сегодня в мире идет большая работа по созданию виртуального пространства в виде  создания виртуального культурного наследия для систем виртуальной реальности. В перспективе  эти работы дадут возможность разместить все музеи, памятники в одном центре виртуальной реальности. Мы видим, что открываются мультимедийные выставки картин известных художников таких, как Фрида Кало, Ван Гог и многие другие. Мультимедийные технологии в музеях и арт-проектах помогают добавить в восприятие впечатление, донести в наглядной форме информацию о картине и художнике для различной аудитории, а также осуществлять коммуникацию с посетителем.

Музейная коммуникация как процесс общения посетителя с музейными экспонатами представляет, так называемые «реальные вещи», в том числе «Ожившие картины». В настоящие время в музейных выставках выделяют два основных направления в области интерактивности: мультимедийные интерактивные зоны, интерактивные стенды. Интерактивные стенды - это мультимедийные презентации на цифровых экранах различной формы и размера, интерактивные выставочные стенды, интерактивные каталоги и видео инсталляции. К мультимедийным интерактивным зонам относят «дополненная» реальность, технологии «Sensory 4» и «Ожившие картины»

Ожившие картины как жанр «Изоанимация» содержит короткометражные анимационные фильмы, дорабатывают произведения художников во времени. Объясняя или обыгрывая сюжеты, рассказывают зрителям о смысловой нагрузке отдельных фрагментов картины. Разнообразие стилей исполнения, неожиданные сюжетные повороты, юмор одних короткометражек и тонкая эстетика других делает их просмотр увлекательным для публики всех возрастов. Интерпретации картин, выполненные аниматорами, помогают аудитории после просмотра взглянуть на живописные произведения музея по-новому, понять замысел художника, в «живую» наблюдать сюжетное действие. Анимационный фильм разрабатывается одновременно и художниками, и программистами-аниматорами в таких системах как Autodesk 3ds max, Maya, Cinema 4D studio и т.д. [1-2].

«Ожившие картины» пользуются популярностью во всей Европе, а жанр «Изоанимация» набирает все большую популярность в городах России, Казахстана и Италии. Для «Оживших картин» сегодня применяют персонажную анимацию, которую в настоящее время используют в киноиндустрии и создании игр. В картинах представлены различные сюжеты и действия, на ней могут находиться множество персонажей, которые могут представлять отдельные движения и перемещения. Для работы с такими картинами важным фактором является скорость разработки персонажной анимации [3].

Постановка проблемы. В основном для персонажной анимации используются программные средства Blender, Autodesk 3ds Max и Maya. При этом создается, так называемая «скелетная анимация», в которой моделируются отдельные части тела персонажа, в частности, с использованием суставов для придания движений. Скелетная анимации — очень мощный инструмент, с помощью которой создается базовый «скелет», а затем двигают «кости», чтобы создавать позы. Затем эти позы могут быть превращены в ключевые кадры анимации, где позиции костей интерполируется между каждым кадром анимации, что создаёт гладкую и очень естественно выглядящую анимацию. На эту анимацию можно натянуть любую «шкурку» (то есть текстуру) и отображать на экране[4]. Одной из проблем при работе в данных пакетах, является скорость разработки персонажной анимации  для двух и более персонажей, так как создание движения подразумевает отдельное представление и обработку каждой кости человека в целом, начиная от лодыжки и заканчивай каждым позвонком в теле человека. При этом получается недостаточно плавность движений, а персонажи больше походят на роботов. Одним из решений для решения проблем при моделировании персонажей является применение технологии захвата движения «Motion capture», что позволит:

На сегодняшней день применяются два вида систем «Motion capture»:

1) Маркерная система – для этого вида захвата движения применяются специальные костюм с датчиками, который надевается на актера, и он начинает выполнять различные движения, требуемые по сюжету, встаёт в условленные позы, имитирует нужную походку. Далее камеры начинают считывать с датчиков данные и отправляются на компьютер, образуются в одна 3D-модель, которая повторяет движения человека, после чего создается анимация персонажа, взятая с модели.

2) Безмаркерная система – для нее не требуется отдельных костюмов с датчиками. Для захвата движения используется инфракрасный проектор или электронно-оптическая камера, которая получает 3D-модель при естественном освещение пространства. Несколько лет назад для безмаркерного захвата движений был разработан «бюджетный» вариант программного обеспечения, не требующего дорогого видеооборудования. Запись захвата движения, в этом случае, производится с помощью камеры xbox kinect или sony eye нового поколения и компьютера. [4]

Для обработки захвата движения необходимо настроить специальные камеры с датчиками глубины на запоминание и получение трёхмерного изображения при любом естественном освещении. На данный момент в технологии захвата движения для настраивания камер используется программное обеспечение «IPI Soft», которое позволяет обрабатывать цветное (RBG) потоковое видео с частотой 30 кадров в секунду с разрешением (640х480 пикселей) и монохромный видеопоток, следящий за глубиной изображения. Программное обеспечение работает совместно с камерой, что также позволяет предуготовлять положение человека. Инфракрасный проектор накладывает на пространство перед камерой сетку из точек. 30 раз в секунду ИК-камера считывает картинку и передает данные в программное средство, где для каждой из этих точек определяется пространство от нее до камеры.

Для работы было выбрано программное обеспечение «Autodesk 3ds max», в котором создавалась «Ожившая картина» с анимацией персонажей для конкретного проекта музея НИТУ МИСиС – «Завод Форшамбо». Эта задача решается с применением безмаркерной системы технологии захвата движения с использованием инфракрасной камеры kinect и программного обеспечения «IPI Soft», представленная в данной статье на рисунках 1 - 2). 

Следующим этапом стало создание системы совмещение микроконтроллера с датчиком движения. Точно такие же датчики используются для открытия дверей при приближении объекта. В нашем же проекте, этот датчик выполняет роль выключателя, то есть, при появлении объекта в зоне действия датчика, картина оживает. Сначала посетитель музея видит перед собой, казалось бы, обыкновенную картину, на которой показаны средневековые металлургические процессы, однако, стоит ему подойти поближе, чтобы рассмотреть все поподробнее, как Фламанские рабочие под средневековую музыку начинают поднимать руду из котлована, транспортировать ее к доменной печи. Заканчивается все тем, что готовую продукцию грузят на лодку для транспортировки к дальнейшему переделу или к месту продажи.

Технология, описанная в данной статье позволяет обеспечить максимально точное воспроизведение движений трехмерных моделей людей, что благоприятно сказывается на восприятии картины или контента, нацеленного на зрителя.

Рисунки к докладу

Рис. 1
Рис. 1

Разработка захвата движения с использованием инфракрасной камеры kinect и программного обеспечения «IPI Soft»,   Autodesk в 3Ds max.




Рис. 2
Рис. 2

Ожившая картина «Завод Форшамбо» Autodesk в 3Ds max с применением захвата движения




Вопросы и комментарии к выступлению:



Назад Go Back