Vid2Player:行为与外观测似职业网球选手的可控视频精灵
图形学
2020-12-22 v2
摘要
我们提出一种系统,将带标注的网球比赛转播视频转换为可交互控制的视频精灵,其行为与外观测似职业网球选手。我们的方法基于可控视频纹理,并利用网球回合循环结构的领域知识来放置片段转场,并在得分对抗的关键决策时刻接受控制输入。最重要的是,我们使用视频集合中的得分点来建模球员在得分过程中的场地站位与击球选择决策。我们利用这些行为模型来选择反映真实球员在给定比赛情境中可能采取动作的视频片段,从而生成在整分宏观层面上(而非仅个别网球动作)行为逼真的精灵。我们的系统能够生成职业网球选手之间类似温网转播的新颖得分过程,支持诸如构建现实中未交手过的选手对阵,或在温网决赛中交互控制球员等新体验。据专业网球选手评价,相较仅考虑视频合成中运动转场质量的方法,我们的方法生成的回合在球员行为上显著更逼真。
引用
@article{arxiv.2008.04524,
title = {Vid2Player: Controllable Video Sprites that Behave and Appear like Professional Tennis Players},
author = {Haotian Zhang and Cristobal Sciutto and Maneesh Agrawala and Kayvon Fatahalian},
journal= {arXiv preprint arXiv:2008.04524},
year = {2020}
}
备注
16 pages, Latex; added player shadows in Sec 8.1; added visual quality evaluation in Sec 9.3; website: https://cs.stanford.edu/~haotianz/research/vid2player/