Создаём 3D аватар - обзор технологий

Чтобы создать 3D аватар человека в настоящее время есть много различных вариантов. Рассмотрим несколько самых известных: Iclone Программа Iclone позволяет взять фотографию лица человека в анфас и приклеить его лицо к 3D персонажу. В версии Iclone 5 это поддерживалось из коробки, в новых версиях придется использовать плагин Headshot и программу Character Creator от Reallusion. Созданные в Iclone персонажи более походят на героев игр, или 3D фильмов чем на обычных людей. Прямо в Iclone можно создавать анимации движения персонажей, в том числе и с анимацией губ по звуковым файлам. Можно также с помощью плагинов помещать созданных персонажей в Unreal Engine. Deepfake Технологии Deepfake также известные как FaceWrap основаны на замене лица одного человека лицом другого человека с помощью нейросетей. Требуют достаточно большой вычислительной мощности и работают на основе нейросетей. Берутся два видео, программно разбиваются на кадры и лицо в одном видео заменяется на лицо в другом. Получается очень фотореалистично, но к сожалению пока не работает в реалтайме на слабых утройствах. Зато с помощью данной технологии можно создать фотореалистичные анимации для аватара, использовав похожего на него актера и поменяв ему лицо на требуемое. Заранее записанные видео Человек который хочет создать своего 3D Аватара может заанее записать много видеофайлов где он делает различные действия - говорит что-то, стоит, сидит, идёт, машет рукой и так далее. Если файлов будет достаточно много это можно использовать в различных сценариях поведения аватара просто заменяя фон на имеющихся видео. При создании видео желательно прменять технологию хромакей (но, учитывая растущую мощь нейросетей для удаления фона с видео это необязательно). Нейросети генерирующие одни видео по другим Сейчас начинают появляться нейросети которые могут оживлять человека с видео, так что он может двигаться как угодно. Это наиболее перспективное направление создания анимаций для 3D аватаров, но пока оно слабо развито.




LILIYASOFT.RU

2020-2021