用于多智能体感知的蒸馏协作图学习
计算机视觉与模式识别
2022-01-19 v2 机器人学
摘要
为促进多智能体感知中更好的性能—带宽权衡，我们提出一种新颖的蒸馏协作图（DiscoGraph）来建模智能体之间可训练、位姿感知且自适应的协作。我们的关键创新在于两方面。首先，我们提出一个师生框架，通过知识蒸馏训练 DiscoGraph。教师模型采用具有全景输入的早期协作；学生模型基于具有单视图输入的中间协作。我们的框架通过约束学生模型中协作后的特征图与教师模型中的对应部分相匹配来训练 DiscoGraph。其次，我们在 DiscoGraph 中提出一种矩阵值边权重。在该矩阵中，每个元素反映特定空间区域上的智能体间注意力，使智能体能够自适应地突出信息区域。在推断时，我们仅需使用名为蒸馏协作网络（DiscoNet）的学生模型。得益于师生框架，共享 DiscoNet 的多个智能体能够协作逼近具有全景的假设教师模型的性能。我们的方法在 V2X-Sim 1.0 上得到验证，这是一个我们使用 CARLA 与 SUMO 联合仿真合成的大规模多智能体感知数据集。我们在多智能体 3D 目标检测中的定量与定性实验表明，DiscoNet 不仅能比最先进的协作感知方法实现更好的性能—带宽权衡，还能带来更直观的设计原理。我们的代码发布于 https://github.com/ai4ce/DiscoNet。
引用
@article{arxiv.2111.00643,
title = {Learning Distilled Collaboration Graph for Multi-Agent Perception},
author = {Yiming Li and Shunli Ren and Pengxiang Wu and Siheng Chen and Chen Feng and Wenjun Zhang},
journal= {arXiv preprint arXiv:2111.00643},
year = {2022}
}
备注
Accepted to 35th Conference on Neural Information Processing Systems (NeurIPS 2021)