PREF：可预测性正则化的神经运动场
计算机视觉与模式识别
2023-04-07 v2 机器学习
摘要
知晓动态场景中点的三维运动对许多视觉应用至关重要。近期的进展主要集中在估计某些特定元素（如人体）的活动。在本文中，我们利用神经运动场来估计多视角设置中所有点的运动。由于颜色相似的点和颜色随时间变化的点存在歧义性，利用多视角数据对动态场景的运动进行建模具有挑战性。我们提出将估计的运动正则化为可预测的。如果先前帧的运动已知，那么近未来的运动应当是可预测的。因此，我们通过首先将估计的运动条件化于潜在嵌入上，然后采用预测器网络在嵌入上强制可预测性，引入了可预测性正则化。所提出的框架 PREF（Predictability REgularized Fields，可预测性正则化场）取得了与最先进的基于神经运动场的动态场景表示方法相当或更好的结果，同时不需要场景的先验知识。
引用
@article{arxiv.2209.10691,
title = {PREF: Predictability Regularized Neural Motion Fields},
author = {Liangchen Song and Xuan Gong and Benjamin Planche and Meng Zheng and David Doermann and Junsong Yuan and Terrence Chen and Ziyan Wu},
journal= {arXiv preprint arXiv:2209.10691},
year = {2023}
}
备注
Accepted at ECCV 2022 (oral). Paper + supplementary material