SFV：从视频中通过强化学习习得物理技能
图形学
2018-10-16 v2 计算机视觉与模式识别
机器学习
摘要
基于动作捕捉的数据驱动角色动画可产生高度自然的行为，且与物理模拟结合时，能对物理扰动、环境变化和形态差异提供自然的程序化响应。动作捕捉仍是运动数据最流行的来源，但采集动捕数据通常需要高度仪器化的环境与演员。本文提出一种方法，使物理模拟角色能从视频中学习技能（SFV）。我们的方法基于深度姿态估计与深度强化学习，令数据驱动动画可利用网上丰富的公开视频片段，如来自YouTube者。这有望仅通过查询所需行为的视频记录，实现快速简便的角色控制器设计。所得控制器对扰动鲁棒，可适应新设定，能执行基本物体交互，并可通过强化学习重定向至新形态。我们进一步证明，通过从观测姿态初始化的学习控制器前向模拟，我们的方法能从静照预测潜在人体运动。我们的框架能学习广泛的动态技能，包括 locomotion、杂技与武术。
引用
@article{arxiv.1810.03599,
title = {SFV: Reinforcement Learning of Physical Skills from Videos},
author = {Xue Bin Peng and Angjoo Kanazawa and Jitendra Malik and Pieter Abbeel and Sergey Levine},
journal= {arXiv preprint arXiv:1810.03599},
year = {2018}
}