渲染中间帧：用于动作插值的人体运动引导视频合成
计算机视觉与模式识别
2021-11-02 v1
摘要
对人体活动视频进行上采样是一项有趣且具有挑战性的任务，在游戏、娱乐和体育转播等领域有诸多潜在应用。在此场景下合成视频帧的主要困难源于人体运动的高度复杂与非线性本质，以及身体的复杂外观与纹理。我们提出在一种运动引导的帧上采样框架中解决这些问题，该框架能够生成逼真的人体运动与外观。我们训练了一种新颖的运动模型，通过利用大规模动作捕捉数据集（AMASS）来推断帧间的非线性骨骼运动。随后高帧率姿态预测被一个神经渲染流程用于生成整帧输出，同时考虑姿态与背景一致性。我们的流程仅需低帧率视频与未配对的人体运动数据，而不需要高帧率视频进行训练。此外，我们贡献了首个由高质量、高帧率人体活动视频组成的评测数据集。与最先进的视频插值技术相比，我们的方法生成的中间帧具有更好的质量与精度，这在像素级、分布性指标以及对比用户评测中的最优结果上得以体现。我们的代码与所收集的数据集可在 https://git.io/Render-In-Between 获取。
引用
@article{arxiv.2111.01029,
title = {Render In-between: Motion Guided Video Synthesis for Action Interpolation},
author = {Hsuan-I Ho and Xu Chen and Jie Song and Otmar Hilliges},
journal= {arXiv preprint arXiv:2111.01029},
year = {2021}
}
备注
12 pages