Использование современных технологий трекинга и захвата движения в пост обработке и во внедрении трехмерной графики в видео на примере создания видео-ролика

Дипломная работа - Компьютеры, программирование

Другие дипломы по предмету Компьютеры, программирование

Для того чтобы скачать эту работу.
1. Подтвердите что Вы не робот:
2. И нажмите на эту кнопку.
закрыть



ые системы, в которых маркерами являются магниты, а камерами - ресиверы, система высчитывает их позиции по искажениям магнитного потока.

Минусы магнитных систем:

магнитные системы подвержены магнитным и электрическим помехам от металлических предметов и окружения;

переменчивая чувствительность сенсоров в зависимости от их положения в рабочей зоне;

меньшая по сравнению с оптическими системами рабочая зона;

отсутствие возможности захвата движений и мимики лица;

дополнительный контроллер, прикреплённый к актёру и подключенный к магнитным маркерам, или даже связка проводов, тянущаяся от актёра к компьютеру;

высокая стоимость магнитных маркеров.

1.Механические системы напрямую следят за сгибами суставов, для этого на актёра надевается специальный механический скелет, который повторяет следом за ним все движения. В компьютер при этом передаются данные об углах сгибов всех суставов.

Минусы механических систем:

скелет, с дополнительным контроллером, прикреплённым к актёру и подключенным к сенсорам сгибов, а в некоторых случаях и провода, тянущиеся от скелета, сильно ограничивают движения актёра;

отсутствие возможности захвата:

•движений и мимики лица;

•движений тесного взаимодействия двух и более актёров (борьба, танцы с поддержками и т. д.);

•движений на полу - кувырки, падения и т. д.

риск поломки механики при неосторожном использовании.

1.Гироскопические и инертные системы. Для сбора информации о движении используют миниатюрные гироскопы и инертные сенсоры, расположенные на теле актёра - также как и маркеры или магниты в других системах. Данные с гироскопов и сенсоров передаются в компьютер, где происходит их обработка и запись. Система определяет не только положение сенсора, но также угол его наклона.

Минусы гироскопических и инертных систем:

отсутствие возможности захвата движений и мимики лица;

дополнительный контроллер, прикреплённый к актёру и подключенный к магнитным маркерам, или даже связка проводов, тянущаяся от актёра к компьютеру;

высокая стоимость гироскопов и инертных сенсоров;

для определения положения актёра в пространстве нужна дополнительная мини-система (оптическая или магнитная).[3]

 

.5.2 Трехмерный трекинг: системы основанные на принципе фотограмметрии

Фотограмметрия (от фото..., греч. gramma - запись, изображение и ... метрия) - технология дистанционного зондирования Земли, позволяющая определять геометрические, количественные и другие свойства объектов на поверхности земли по фотографическим изображениям, получаемым с помощью летательных аппаратов любых видов. В настоящее время изображения для фотограмметрии получают как кадровыми, щелевыми и панорамными фотоаппаратами, так и с помощью радиолокационных, телевизионных, тепловых и лазерных систем.[4]

Фотограмметрия появилась в середине XIX века, практически одновременно с появлением самой фотографии, и если рассмотреть эту технологию чуть более поверхностно и в разрезе нашего обзора, то можно заключить следующее: Если обозначить одни и те же точки на одном предмете, скажем, углы стола, на двух фотографиях сделанных с разного ракурса, то существует одно возможное положение этих точек в пространстве (рис.11). Благодаря этому простому правилу, открытому более ста пятидесяти лет назад, современные мачмуверы могут автоматизировать девяносто процентов своей работы.

Что не немаловажно, проведя процесс фотограмметрии, можно не только получить положение точек (а соответственно, и объекта) в пространстве, но и камеры, которая сделала этот кадр.

В дальнейшем есть всего два варианта развития событий:

-камера двигается по определенной траектории;

-несколько камер стоит статично.

Первый сюжет позволяет произвести реконструкцию камеры в пространстве: каждый кадр считается, как отдельная фотография с нового ракурса. Таким образом сделав облет длительностью в четыре секунды, имеем минимум 96 фотографий одного и того же места с разных ракурсов, при условии, что в кадре ничего не двигается. Этого более чем достаточно, чтобы произвести реконструкцию. Современные программы могут автоматически найти сотни точек, которые они будут отслеживать и, в результате, выдавать их координаты в пространстве.

 

Рис. 11. Принцип работы фотограмметрии

Второй вариант развития событий на первый взгляд кажется неуклюжим, но он открывает возможности до этого подвластные только команде профессионалов с дорогим оборудованием. Как упоминалось выше, для того, чтобы произвести мачмув или реконструкцию камеры, необходимо, чтобы в кадре не происходило движения, кроме движения камеры (либо, необходимо изолировать эти области во время обработки). Дело в том, что трекер воспримет все движения в кадре, как перемещения камеры, что может очень сильно повлиять на финальный результат и сделать мачмув не очень качественным. Однако если, взять несколько камер, отследить оптические маркеры (например шарики от пинг-понга, приделанные к костюму актера) в пространстве, а при переводе координат инвертировать информацию и указать камеры, как статичные, то получится перемещение точек в пространстве. Хотя камера при этом будет статична.

Стоит так же упомянуть о том, что нет ограничения использовать только видео материал. Если камера стоит статично и лишь поворачивается вокруг своей оси, то не нужно делать облет сцены и тратить время, силы и плёнку. Достаточно сделать 5-7 фотографий высокого разрешения с разных ракурсов. Таким образом сымитировать облет сцены и сэкономим время.

 

ГЛАВА 2. ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ

 

.1 Технические тесты

 

В соответствии со сценарием (прил. 1) в ролике присутствуют два героя, образы которых противопоставляются друг другу. Открыто и через детали. Основной задачей с точки зрения визуальных эффектов является размещение больших надписей над головами главных героев. И перед тем, как утвердить идею необходимо провести необходимые технические тесты и подготовить детальную раскадровку (прил.2).

 

.1.1 Тест 1

За основу был взят небольшой отрезок видео снятый с большой высоты через грязное стекло. Высота была продиктована возможной необходимостью в дальнейшем использовать общие планы снятые с крыш, а качество съемки - желанием проверить возможности трекера.

 

Рис. 12. Технический тест №1. Проверка двухмерного трекинга

 

Результат оправдал все ожидания: отснятый материал был изначально стабилизирован, и лишь потом был произведен захват движения, который не смотря на нечеткое видео и размытости на окне был произведен отлично. На этом этапе вместо надписей был использован геометрический примитив (рис.12)

 

.1.2 Тест № 2

По результатам первого теста стало ясно, что жестко присоединенная надпись не выглядит естественно и противоречит законам классической анимации. Поэтому была создана физическая модель, которая должна имитировать поведение некоего объекта на пружине. То есть она должна подвергаться инерции, трению, сопротивлению и при необходимости другим физическим законам (рис.13).

 

Рис. 13. Технический тест №2. Создание физической модели

 

Результатом стал коротки ролик показывающий поведение надписи в разных условиях: взаимодействие с плоскостями, разные степени жесткости материала и степень подверженности инертной силе. Возникла новая задача: привязать физическую систему к двухмерному трекеру.

 

.1.3 Тест № 3

Поиск решения навел на грустные мысли о возможной необходимости в будущем отказаться от общих планов в пользу трехмерного трекинга. Соответственно, на третьем тесте исследованию подверглась система захвата движения, основанная на фотограмметрии с использованием двух камер. Актер имел два нарочито больших маркера закрепленных на черной шапке (рис.14). То есть были созданы идеальные условия для захвата движения. Для работы использовался продукт компании Autodesk - Matchmover.

 

Рисунок 14. Технический тест № 3. Motion Capture в студии ИМОП Films

 

Результат не был столь же блестящим, что и с двухмертным трекингом. При активных движениях актера маркеры постоянно пропадали из зоны видимости, либо смазывались, что говорило о сильном недостатке света в студии (что не критично при уличных съемках, но составляет очень большую проблему при съемка в помещении, где света может быть еще меньше).Однако был и позитивный момент. Без проблем удалось сделать реконструкцию камер и соответственно воссоздать сцену в трех измерениях.

Итак:

-скорость затвора (shutter speed или выдержка) должна быть быстрее 1\200 секунды, чтобы движение не смазывалось;

-на финальном материале отчетливо читался поворот головы и хорошая работа физической модели, которой на тот момент не хватало жесткости;

-для того чтобы сделать мачмув, нет необходимости делать облет камеры. Достаточно снять с одной точки и добавить отснятые фотографии с разных ракурсов;

-маркеры не должны быть менее 5 пикселей, поэтому рекомендуется использовать Full HD формат для съемки и ограничить перемещение актера по оси Z в обоих направлениях;

-движения актера должны быть очень сдержанными.

 

.1.4 Тест № 4.

Разочаровавшись в захвате движения с текущим техническим оборудованием и удостоверившись в возможности использовать реконструкцию камеры даже на съемках сделанных с рук, оставалась одна нерешенная задача. Как отследить повороты актеров на средних и общих планах? Ответ был подсмотрен в классическом подходе к трехмерной анимации персонажей: нужно было создать систему управления (рис.15). Проблема не казалась сложной, учитывая то, что нужно было только от