基于被动场景声音与野外视频的音视频相机位姿估计
计算机视觉与模式识别
2026-05-13 v3
摘要
理解相机运动是具身感知与三维场景理解中的基本问题。虽然视觉方法发展迅速，但在运动模糊或遮挡等视觉退化条件下往往表现不佳。本工作中，我们证明被动场景声音为野外视频中的相对相机位姿估计提供了互补于视觉的线索。我们提出一种简单而有效的音视频框架，将到达方向(DOA)谱和双耳化嵌入整合到最先进的纯视觉位姿估计模型中。我们在两个大型数据集上的结果表明，相比强视觉基线持续获得提升，并在视觉信息受损时保持鲁棒性。据我们所知，这是首个成功利用音频进行真实世界视频中相对相机位姿估计的工作，并确立了偶发的日常音频作为经典空间挑战中一个意外但有前景的信号。项目地址：http://vision.cs.utexas.edu/projects/av_camera_pose。
引用
@article{arxiv.2512.12165,
title = {Audio-Visual Camera Pose Estimation with Passive Scene Sounds and In-the-Wild Video},
author = {Daniel Adebi and Sagnik Majumder and Kristen Grauman},
journal= {arXiv preprint arXiv:2512.12165},
year = {2026}
}