EPIC Fields：融合三维几何与视频理解
计算机视觉与模式识别
2024-02-02 v2
摘要
神经渲染正推动学习、三维几何与视频理解的统一，这一等待了二十余年的融合。然而，进展仍受限于合适数据集与基准的缺乏。为弥补此缺口，我们引入 EPIC Fields，即带有三维相机信息的 EPIC-KITCHENS 增强数据集。与其他神经渲染数据集一样，EPIC Fields 省去了使用摄影测量法重建相机的复杂且昂贵步骤，使研究者能专注于建模问题。我们阐明了在动态动作的第一人称视频中进行摄影测量的挑战，并提出了应对这些挑战的改进方法。相较于其他神经渲染数据集，EPIC Fields 更契合视频理解，因其配有标注的动作片段及近期的 VISOR 分割标注。为进一步激励社区，我们还评估了神经渲染与动态物体分割两项基准任务，并给出展示当前局限性的强基线。我们也强调了在 VISOR 标注上几何信息对半监督视频物体分割的优势。EPIC Fields 重建了 EPIC-KITCHENS 中 96% 的视频，注册了在 45 个厨房记录的 99 小时内的 19M 帧。
引用
@article{arxiv.2306.08731,
title = {EPIC Fields: Marrying 3D Geometry and Video Understanding},
author = {Vadim Tschernezki and Ahmad Darkhalil and Zhifan Zhu and David Fouhey and Iro Laina and Diane Larlus and Dima Damen and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2306.08731},
year = {2024}
}
备注
Published at NeurIPS 2023. 24 pages, 15 figures. Project Webpage: http://epic-kitchens.github.io/epic-fields