Select2Col：利用语义信息的时空重要性实现高效协同感知
计算机视觉与模式识别
2024-02-08 v3 人工智能
摘要
利用共享语义信息的协同感知在克服孤立智能体的个体局限方面起着关键作用。然而，现有协同感知方法往往仅关注语义信息的空间特征，而忽视时间维度的重要性，致使协作的潜在收益未被充分利用。本文提出 Select2Col，一种考虑语义信息时空重要性的新型协同感知框架。在 Select2Col 中，我们开发了一种协作体选择方法，利用轻量级图神经网络（GNN）估计各协作体在提升感知性能方面的语义信息重要性（IoSI），从而识别有贡献的协作体并排除可能带来负面影响的协作体。此外，我们提出一种名为 HPHA（历史先验混合注意力）的语义信息融合算法，其集成多尺度注意力与短时注意力模块，分别从空间与时间维度捕获特征表示中的 IoSI，并分配与 IoSI 一致的权重以实现对所选协作体信息的高效融合。在三个公开数据集上的大量实验表明，所提 Select2Col 相比最优（state-of-the-art）方法显著提升了感知性能。本研究相关代码已公开于 https://github.com/huangqzj/Select2Col/。
引用
@article{arxiv.2307.16517,
title = {Select2Col: Leveraging Spatial-Temporal Importance of Semantic Information for Efficient Collaborative Perception},
author = {Yuntao Liu and Qian Huang and Rongpeng Li and Xianfu Chen and Zhifeng Zhao and Shuyuan Zhao and Yongdong Zhu and Honggang Zhang},
journal= {arXiv preprint arXiv:2307.16517},
year = {2024}
}