面向基于知识迁移的视听导航的全向信息收集
计算机视觉与模式识别
2023-08-22 v1
摘要
视听导航是一项以声音为目标的寻路任务，机器人智能体需在从未见过的 3D 环境中朝声源行进。本文提出 ORAN，一种基于跨任务导航技能迁移的全向视听导航器。具体而言，ORAN 针对此项极具挑战的任务打磨了其两项基本能力，即寻路与视听信息收集。首先，ORAN 采用置信度感知的跨任务策略蒸馏（CCPD）策略进行训练。CCPD 将在大规模 PointGoal 任务上训练完备的基础点对点寻路技能迁移至 ORAN，从而以远少得多的训练样本帮助 ORAN 更好地掌握视听导航。为提升知识迁移效率并应对域差距，CCPD 被设计为适配教师策略的决策置信度。其次，ORAN 配备全向信息收集（OIG）机制，即在决策前从各方向采集视觉-声学观测。由此，ORAN 产生更鲁棒的导航行为。结合 CCPD 与 OIG，ORAN 显著优于既往竞争者。经模型集成，我们在 Soundspaces Challenge 2022 中获得第一名，相对提升 SPL 与 SR 达 53% 与 35%。
关键词
引用
@article{arxiv.2308.10306,
title = {Omnidirectional Information Gathering for Knowledge Transfer-based Audio-Visual Navigation},
author = {Jinyu Chen and Wenguan Wang and Si Liu and Hongsheng Li and Yi Yang},
journal= {arXiv preprint arXiv:2308.10306},
year = {2023}
}
备注
ICCV 2023