好的协作视角是什么？基于对比互信息最大化的多智能体感知
计算机视觉与模式识别
2024-03-18 v1 多智能体系统
摘要
多智能体感知（MAP）允许自主系统通过解释来自多个来源的数据来理解复杂环境。本文聚焦于MAP的中间协作，具体关注探索"好"的协作视角（即协作后特征）的属性及其与单个视角（即协作前特征）之间的关系，而大多数现有研究将其视为不透明的程序。我们提出了一种新框架，称为CMiMC（Contrastive Mutual Information Maximization for Collaborative Perception），用于中间协作。CMiMC的核心理念是通过最大化协作前特征与协作后特征之间的互信息，来保留协作视角中单个视角的判别性信息，同时通过最小化下游任务的损失函数来提高协作视角的效果。具体而言，我们定义了用于中间协作的多视角互信息（MVMI），用于在全局和局部尺度上评估协作视角与单个视角之间的相关性。我们基于多视角对比学习构建了CMiMNet，以实现MVMI的估计和最大化，从而协助训练用于体素级别特征融合的协作编码器。在V2X-Sim 1.0上评估了CMiMC，它在0.5和0.7 IoU（交并比）阈值下分别将SOTA平均精度提高了3.08%和4.44%。此外，CMiMC可将通信量减少到SOTA的1/32，同时实现了相当于SOTA的性能。代码和附录已发布于https://github.com/77SWF/CMiMC。
引用
@article{arxiv.2403.10068,
title = {What Makes Good Collaborative Views? Contrastive Mutual Information Maximization for Multi-Agent Perception},
author = {Wanfang Su and Lixing Chen and Yang Bai and Xi Lin and Gaolei Li and Zhe Qu and Pan Zhou},
journal= {arXiv preprint arXiv:2403.10068},
year = {2024}
}