学习型多模态压缩用于自动驾驶

自动驾驶传感器生成海量数据。本文探索面向自动驾驶的学习型多模态压缩，专门针对三维目标检测。我们聚焦相机与激光雷达模态，并探索多种编码方案。其中一种方案涉及融合模态的联合编码，而其他方案则涉及先对一种模态进行编码，随后对另一种模态进行条件编码。我们在 nuScenes 数据集上评估了这些编码方案的性能。实验结果表明，融合模态的联合编码相较于替代方案能够取得更好的结果。