Deep 360 Pilot：学习用于穿越360°体育视频的深度智能体
计算机视觉与模式识别
2017-05-05 v1 图形学
多媒体
摘要
观看360°体育视频需要观众通过一系列鼠标点击或头部运动连续选择视角。为了将观众从这项“360领航”任务中解放出来，我们提出了“deep 360 pilot”——一种基于深度学习的智能体，用于自动领航穿越360°体育视频。在每一帧，该智能体观察全景图像并已知先前选择的视角。智能体的任务是将当前视角（即动作）转移到下一个偏好的视角（即目标）。我们提议直接从数据中学习智能体的在线策略。我们使用策略梯度技术联合训练我们的流水线：通过最小化（1）衡量所选视角与真值视角之间距离的回归损失，（2）鼓励视角平滑过渡的平滑损失，以及（3）最大化聚焦于前景对象的期望奖励。为了评估我们的方法，我们构建了一个由五个体育领域组成的新的360-Sports视频数据集。我们训练了特定领域的智能体，并在视角选择准确性和过渡平滑性上相比[51]和其他基线取得了最佳性能。
引用
@article{arxiv.1705.01759,
title = {Deep 360 Pilot: Learning a Deep Agent for Piloting through 360{\deg} Sports Video},
author = {Hou-Ning Hu and Yen-Chen Lin and Ming-Yu Liu and Hsien-Tzu Cheng and Yung-Ju Chang and Min Sun},
journal= {arXiv preprint arXiv:1705.01759},
year = {2017}
}
备注
13 pages, 8 figures, To appear in CVPR 2017 as an Oral paper. The first two authors contributed equally to this work. https://aliensunmin.github.io/project/360video/