CollaMamba：基于跨代理时空状态空间模型的高效协作感知
计算机视觉与模式识别
2024-11-06 v3 多智能体系统
摘要
通过共享互补的感知信息，多智能体协作感知能够促进对环境的更深入理解。近期的协作感知研究主要使用 CNN 或 Transformer 来学习空间维度的特征表示和融合，然而在计算和通信资源有限的情况下，这类方法难以处理长程时空特征。对广泛空间区域和延长时间帧的依赖关系进行整体建模对于提升特征质量至关重要。为此，我们提出了一种资源高效的跨代理时空协作状态空间模型（SSM），命名为 CollaMamba。我们首先基于空间 SSM 构建一个基础骨干网络。该骨干网络能够从单智能体和跨智能体视角中捕获位置因果依赖关系，在保持线性复杂度的同时产生紧凑且全面的中间特征。此外，我们基于时序 SSM 设计了一个历史感知特征提升模块，从扩展的历史帧中提取上下文线索，以保持低开销的方式细化模糊特征。广泛的实验表明，CollaMamba 在多个数据集上均优于最先进的方法，在提高模型准确率的同时，将计算和通信开销分别降低最高可达 71.9% 和 1/64。本工作 pioneers the exploration of the Mamba's potential in collaborative perception. 源代码将公开提供。
引用
@article{arxiv.2409.07714,
title = {CollaMamba: Efficient Collaborative Perception with Cross-Agent Spatial-Temporal State Space Model},
author = {Yang Li and Quan Yuan and Guiyang Luo and Xiaoyuan Fu and Xuanhan Zhu and Yujia Yang and Rui Pan and Jinglin Li},
journal= {arXiv preprint arXiv:2409.07714},
year = {2024}
}