可靠性感知几何融合用于鲁棒音频-视觉导航
声音
2026-04-06 v1 人工智能
音频与语音处理
摘要
音频-视觉导航（AVN）要求具身智能体利用视觉与双耳音频来导航至声源。核心挑战出现在复杂声学环境中，双耳线索变得间歇性不可靠，尤其是在泛化至先前未听过的声源类别时。为解决这一问题，我们提出了 RAVN（可靠性感知音频-视觉导航），一个以音频导出的可靠性线索为条件来调节跨模态融合的框架，动态校准音频与视觉输入的整合。RAVN 引入了一个声学几何推理器（AGR），该推理器通过几何代理监督进行训练。AGR 使用异方差高斯负对数似然目标，学习观测依赖的离散度作为实用的可靠性线索，消除了推理过程中对几何标签的需求。此外，我们引入了可靠性感知几何调制（RAGM），将学习到的线索转换为软门控以调制视觉特征，从而缓解跨模态冲突。我们在 SoundSpaces 上使用 Replica 和 Matterport3D 环境对 RAVN 进行了评估，结果表明导航性能持续提升，在具有挑战性的未听声源设置中表现出显著的鲁棒性。
引用
@article{arxiv.2604.02391,
title = {Reliability-Aware Geometric Fusion for Robust Audio-Visual Navigation},
author = {Teng Liu and Yinfeng Yu},
journal= {arXiv preprint arXiv:2604.02391},
year = {2026}
}
备注
Main paper (6 pages). Accepted for publication by the International Joint Conference on Neural Networks (IJCNN 2026)