Реконструкция мимики неандертальца на основе 3d сканирования работ М.М. Герасимова.

             В исторической науке широко известен метод М.М. Герасимова реконструкции лица по костным останкам^[1]. Метод восстановления лица по черепу получил широкое распространение в антропологии, а число успешных реконструкций ископаемых людей и исторических лиц исчисляется сотнями. Наследие Герасимова и его метода реконструкции лица получил широкое распространение и в работах его последователей и учеников ^[2].

При трехмерном сканировании работ выполненных по методу Герасимова появляется научно аргументированная трехмерная модель, которая в дальнейшем может использоваться как основа для создания мимической реконструкции на основе симуляции работы мышц и взаимосвязи особенностей работы мышц с костными останками.

            Однако в при создании такой реконструкции появляется целый ряд вопросов, который требует детального исследования, основными из которых являются: взаимосвязь характерных черт и особенности мимики по описательным источникам для персонажа, биомеханика работы мышц и их взаимосвязь с костными данными, проблема соотношения художественности и научности в таких реконструкциях.

            При использовании технологии захвата мимики посетителя в музее, на интерактивной витрине,  такие мимические реконструкции “трехмерные аватары” могут наглядно представить персонажа и его характерные особенности в интересном для посетителя и увлекательном формате, а будучи представленными в виде видео “оживить” скульптуру, бюст, маску или реконструкцию образа.

            В обсуждениях на тему метода Герасимова множество раз затрагивался вопрос возможности использования компьютерных технологий для реконструкции, но исходя из общих интонаций звучания можно сказать что профессиональных скульпторов он не устраивает в силу того что является непривычным.^[3] Несмотря на то что на сегодняшний день существует большое количество программ для так называемого “скульптинга” - лепки трехмерных моделей в специальных редакторах, метод обычной художественной лепки остается более привычным. ^[4]

            С распространением трехмерного сканирующего оборудования появилась возможность его комплексного использования для реконструкции по методу Герасимова вместе с современными технологиями пост-обработки, применяемые в сфере кино и при разработки игр. Это касается возможностей скелетной анимации, мимической анимации, и создания шейдеров и текстур, которые могут передать не только пространственные характеристики реконструкции, но и оптико-цветовые свойства тканей тела.

            Одной из таких интересных кинематографических технологий можно привести пример технологию реалистичного создания кожи SSS (subsurface scattering, или подповерхностного рассеивания), который с высокой степенью реалистичности может передавать характеристики кожи. Впервые эта технология была использована в фильме “Прометей” (реж. Ридли Скотт, 2012), и сейчас широко распространилась в кинематографе и трехмерных технологиях.

Рис.1. Итоговая статичная реконструкция: добавлен шейдер кожи, морщины, добавлены волосы.

           

            Конечном результатом такой работы по “оживлению” реконструкций является интерактивная реконструкция, которая будучи выставленной в музее работает в режиме “зеркала” копируя мимику посетителей и примеряя ее на реконструкцию.
            В основе этой технологии используются так называемые blendshape^[5] модели - заранее смоделированные при помощи трехмерного скульптинга выражения лица трехмерного скана (так называемые мимические паттерны), которые при помощи специального программного обеспечения сопоставляются с выражениями лица посетителя. Наиболее известные программы для безмаркерного захвата мимики это Faceshift^[6], Brekel Face Pro^[7], Faceware^[8] и др. Захват мимики посетителя производится при помощи датчика глубины kinect или аналогичных сенсоров глубины.^[9] Готовая интерактивная инсталляция была опробована на фестивале “Ученые против мифов 5” и вызвала активный интерес посетителей.^[10]

Рис.2. Интерактивная инсталляция с мимической реконструкции бюста неандертальца, использовался трехмерный скан работы М.М. Герасимова

 

Хотелось бы подробнее остановиться на этапах процесса работы по анимированию и созданию мимической реконструкций на основе реконструкций бюстов по методу Герасимова, а также на используемом программном обеспечением для такой работы.

 

Рис.3. Настройка шейдеров кожи и рисование текстур. Autodesk 3DS MAX и Corona Render/

 

 

В самом начале работы было проведено трехмерного сканирования бюста неандертальца, выставленного в Государственном Дарвиновском музее в зале “Эволюция человека”. Для сканирования использовался трехмерный сканер Artec Eva[11]. Этот сканер является универсальным решением для сканирования объектов средних и больших габаритов. Заявленная точность сканера составляет 0.1 мм. В своей работе сканер использует технологию структурированной подсветки, которая позволяет проводить работы по оцифровке в реальном времени. Также технология структурированной подсветки позволяет получить текстуры для трехмерной модели с равномерно засвеченной поверхностью. Трехмерный сканер использовался в связке с программным обеспечением Artec Studio 9. Это программное обеспечение позволяет обрабатывать полученные трехмерные фрагменты, сопоставлять их. В программе есть уникальные алгоритмы для исправления и коррекции геометрии, а также  пост-обработки модели для получения наилучших результатов.

 

Рис.4. Сканирование реконструкции М.М. Герасимова в Дарвиновском музее.

 

Следующий этап - это так называемая ретопология (изменение геометрических форм трехмерной модели) и оптимизация получившейся в процессе сканирования модели. а также оснастка трехмерного скана отверстиями для глаз. Поскольку программное обеспечение предназначено в первую очередь для работы с низкополигональные объектами необходимо сильно сократить плотность полигональной сетки. Для этого используется метод переноса детализации с высокополигональной модели (так называемое "запекание" карты нормалей с высокополигональной модели на низкополигональную). Для ретопологии использовалась специальное программное обеспечение Instant Meshes – бесплатная программа для автоматической ретопологии мешей: создания равномерной сетки из треугольников или квадов. Она является практической реализацией метода, предложенного в статье «Instant Field-Aligned Meshes» (Wenzel Jakob, Marco Tarini, Daniele Panozzo, Olga Sorkine-Hornung), представленной на SIGGRAPH Asia 2015 специалистами из Швейцарской высшей технической школы Цюриха.^[12]

Далее, для скульптинга 42 эмоций и обработки отверстий для глаз и рта был использован графический планшет и бесплатный сервис для онлайн скульптинга Sculpt Gl^[13]. Итоговые модели были объединены в blendshapes при помощи модификатора morphing в программе Autodesk 3ds Max.  Видео о том как это выглядит можно посмотреть по ссылке на YouTube в конце статьи.

Рис.5. Ретопология и оптимизация трехмерного скана при помощи программного обеспечения Instant Meshes.

 

Самым сложным и трудоемким этапом после моделирования был так называемый скиннинг -  оснастка трехмерной модели костями и отстройка деформации модели и ее связь с костной системой. Для этих целей система анимации при помощи костей в 3ds max и модификатор skin. Это довольно кропотливая работа, и ее приходилось несколько раз переделывать для того чтобы места сгиба модели реалистично передавали поведение кожи и шейных суставов.

Рис.4. Для того чтобы трехмерная модель реалистично деформировалась ее нужно
настроить: эти этапы называются риггинг (оснастка костями) и скиннинг (деформации)

 

В качестве заключения можно отметить, что пока в нашей работе есть большая степень художественной составляющей, и сейчас мы начинаем работу с специалистами по методу Герасимова для того чтобы можно было построить деформации поверхностей не на основе ручного моделирования, в при помощи особенностей работы мышечной ткани. Итоговый процесс анимации мимики и интерактивного взаимодействия можно посмотреть по ссылке на Youtube.^[14]

 

Ахтамзян А.И.
Ольшанский Д.В.
Ахтамзян Н.И.
Отдел мультимедиа и интернет проектов
Дарвиновского музея

Комментарии могут оставлять только зарегистрированные пользователи