异构协作具身智能体中的涌现通信解释
计算机视觉与模式识别
2021-10-13 v1 人工智能
机器学习
多智能体系统
摘要
近年来，具身 AI 智能体之间的通信受到越来越多的关注。尽管已有应用，目前仍不清楚所学通信是否可解释且基于感知。为研究涌现通信形式的 grounding（语义锚定），我们首先引入协作多目标导航任务 CoMON。在该任务中，一个 oracle 智能体以地图形式拥有详尽的环境信息，它与一个以视觉感知环境并被指派寻找一系列目标的 navigator 智能体通信。要成功完成任务，有效的通信至关重要。因此，CoMON 可作为研究异构智能体（即具有不同能力与角色的智能体）之间不同通信机制的基础。我们研究了两种常见通信机制，并通过以自我为中心和空间的视角分析其通信模式。我们表明，涌现通信可锚定到智能体观测与 3D 环境的空间结构。视频摘要：https://youtu.be/kLv2rxO9t0g
引用
@article{arxiv.2110.05769,
title = {Interpretation of Emergent Communication in Heterogeneous Collaborative Embodied Agents},
author = {Shivansh Patel and Saim Wani and Unnat Jain and Alexander Schwing and Svetlana Lazebnik and Manolis Savva and Angel X. Chang},
journal= {arXiv preprint arXiv:2110.05769},
year = {2021}
}
备注
Project page: https://shivanshpatel35.github.io/comon/ ; the first three authors contributed equally