通过期望动作定制第一人称图像
计算机视觉与模式识别
2017-04-04 v1
摘要
本文研究了一个逆视觉路径规划问题：从第一人称动作创建视觉场景。我们的猜想是，第一人称视觉场景的空间布局是为了支持某种动作而部署的，因此，可以反向利用动作来合成新场景，使得该动作在此场景中是可行的。作为概念验证，我们重点关注由行走引起的视觉体验之间的联系。本文的一个关键创新是ActionTunnel的概念——一个沿着未来轨迹的3D虚拟隧道，编码了佩戴者走入场景时将视觉体验到的内容。它通过相似的行走路径将两幅不同的第一人称图像连接起来。我们的方法以一幅第一人称图像和用户定义的未来轨迹作为输入，输出一幅能够支持该未来运动的新图像。该图像通过在3D中结合当前与未来的ActionTunnel来创建，其中相邻区域的缺失像素由生成对抗网络计算填补。我们的工作能够提供在不同真实世界场景中跨越不同第一人称体验的漫游。
引用
@article{arxiv.1704.00098,
title = {Customizing First Person Image Through Desired Actions},
author = {Shan Su and Jianbo Shi and Hyun Soo Park},
journal= {arXiv preprint arXiv:1704.00098},
year = {2017}
}