CORE：面向多智能体感知的协作重建
计算机视觉与模式识别
2023-07-26 v2
摘要
本文提出 CORE，一种概念简单、有效且通信高效的多智能体协作感知模型。它从协作重建这一新颖视角处理该任务，基于两个关键洞见：1）协作的智能体共同提供对环境更整体的观测，2）该整体观测可作为有价值的监督，显式引导模型学习如何基于协作重建理想观测。CORE 以三个主要组件实现该思想：每个智能体的压缩器以创建更紧凑的特征表示用于高效广播，轻量注意力协作组件用于跨智能体消息聚合，以及重建模块基于聚合特征表示重建观测。这种学习重建思想与任务无关，并提供清晰合理的监督以启发更有效的协作，最终促进感知任务。我们在大规模多智能体感知数据集 OPV2V 上验证 CORE，涉及两项任务，即 3D 目标检测和语义分割。结果表明该模型在两项任务上均达到最先进性能，且更具通信高效性。
引用
@article{arxiv.2307.11514,
title = {CORE: Cooperative Reconstruction for Multi-Agent Perception},
author = {Binglu Wang and Lei Zhang and Zhaozhong Wang and Yongqiang Zhao and Tianfei Zhou},
journal= {arXiv preprint arXiv:2307.11514},
year = {2023}
}
备注
Accepted to ICCV 2023; Code: https://github.com/zllxot/CORE