导航智能体学到了关于其环境的什么？
计算机视觉与模式识别
2022-06-20 v1 机器学习
机器人学
摘要
当今最先进的视觉导航智能体通常由端到端训练的大型深度学习模型构成。此类模型几乎不提供关于所学技能或智能体针对环境所采取动作的可解释性。尽管过往工作已探索解释深度学习模型，但鲜有致力于解释具身 AI 系统，其常涉及对环境结构、目标特征及自身动作结果的推理。本文中，我们针对 Point Goal 与 Object Goal 导航智能体引入了具身智能体可解释性系统（iSEE）。我们利用 iSEE 探查这些智能体产生的动态表示中是否存在关于智能体及环境的信息。我们利用 iSEE 展示了关于导航智能体的有趣洞见，包括编码可达位置（以避开障碍）、目标可见性、距初始生成位置的进度，以及当我们屏蔽关键单个神经元时对智能体行为的显著影响。代码见：https://github.com/allenai/iSEE
引用
@article{arxiv.2206.08500,
title = {What do navigation agents learn about their environment?},
author = {Kshitij Dwivedi and Gemma Roig and Aniruddha Kembhavi and Roozbeh Mottaghi},
journal= {arXiv preprint arXiv:2206.08500},
year = {2022}
}
备注
CVPR 2022