iPhonesia.ru

Группа разработчиков из Калифорнийского университета в Беркли создала алгоритм, способный по последовательности кадров напрямую предсказать будущее поведение человека в виде 3D-модели.

Увидев человека, совершающего какое-либо действие, к примеру, идущего по улице, мы можем в общих чертах представить себе, что он будет делать дальше и как это будет выглядеть. Для компьютерных алгоритмов эта задача достаточно нетривиальна.


Алгоритм состоит из нескольких частей и этапов, но в нем можно выделить два ключевых этапа. В качестве исходных данных он получает последовательность кадров с двигающимся человеком. Для каждого кадра остаточная сверточная нейросеть ResNet-50 создает вектор, описывающий текущее состояние человека. На основе последовательности этих векторов двунаправленная рекуррентная нейронная сеть (RNN), также известная как кодировщик, создает единое представление, которое описывает движения человека с начала ролика до текущего кадра.


Затем еще одна нейросеть создает на основе множества таких представлений до текущего кадра представление для следующего кадра. Затем этот процесс повторяется, но в качестве исходных данных уже используются не только настоящие представления, но и спрогнозированные. Каждое из этих представлений отдается нейросети, которая выдает 82 параметра, описывающих 3D-модель.

Алгоритм был обучен на основе четырех публично доступных датасетах, в том числе Human3.6M, содержащем пары из видео и сопоставленных анимированных 3D-моделей.
© iPhonesia.ru
Присоединяйтесь к iPhonesia в VK, X (Twitter), «Дзене» или через RSS-канал.

60 1 2 3 4 5

nplus1.ru