基于期望码长最小化的全景视频扫描路径预测

由于球面几何和输入的多模态性，以及输出的固有不确定性和多样性，预测人类在探索全景视频时的扫描路径是一项具有挑战性的任务。大多数先前的方法未能对这些特性给予完整处理，因此容易出错。在本文中，我们基于有损数据压缩的原理，提出了一种用于扫描路径预测的简新准则。该准则建议最小化训练集中量化扫描路径的期望码长，这对应于通过最大似然拟合一个离散条件概率模型。具体而言，该概率模型以两种模态为条件：作为去变形视觉输入的视口序列，以及作为对齐路径输入投影到相应视口上的一组相对历史扫描路径。该概率模型由离散高斯混合模型的乘积参数化，以捕捉来自不同用户的扫描路径的不确定性和多样性。最重要的是，该概率模型的训练不依赖于为模仿学习指定“真实”扫描路径。我们还引入了一种基于比例-积分-微分（PID）控制器的采样器，从学习到的概率模型中生成逼真类人的扫描路径。实验结果表明，在广泛的预测时域内，我们的方法在预测精度（通过与假设的“真实”值比较）和感知真实感（通过机器判别）方面持续产生更好的定量扫描路径结果。我们还通过正式的心理物理实验验证了感知真实感的提升，以及在多个未见全景视频数据集上泛化能力的改进。