利用 4D 神经场揭示遮挡
计算机视觉与模式识别
2022-04-26 v1 机器学习
摘要
对于在计算机视觉系统中处理动态场景，它们需要能够表示并推理物体的恒存性。我们引入了一种从单目 RGB-D 学习估计 4D 视觉表示的框架，该框架能够在物体被遮挡后依然保持其存在。与传统视频表示不同，我们将点云编码为连续表示，使模型能够跨越时空上下文进行关注以解析遮挡。在我们随本文发布的两个大型视频数据集上，实验表明该表示无需任何架构改动即可在多项任务中成功揭示遮挡。可视化结果显示注意力机制自动学习跟踪被遮挡的物体。由于我们的方法可端到端训练且易于适配，我们认为它有助于处理许多视频理解任务中的遮挡问题。数据、代码与模型见 https://occlusions.cs.columbia.edu/。
引用
@article{arxiv.2204.10916,
title = {Revealing Occlusions with 4D Neural Fields},
author = {Basile Van Hoorick and Purva Tendulkar and Didac Suris and Dennis Park and Simon Stent and Carl Vondrick},
journal= {arXiv preprint arXiv:2204.10916},
year = {2022}
}
备注
CVPR 2022 (Oral)