面向自动驾驶车辆的多模态决策的新型脉冲神经网络架构
机器学习
2025-12-02 v1
摘要
本工作提出了一种用于自动驾驶车辆高层决策的端到端多模态强化学习框架。该框架通过基于交叉注意力的变换器感知模块，将整合异构感知输入，包括摄像头图像、LiDAR 点云和车辆航向信息。虽然变换器已成为现代多模态架构的 backbone，但其高计算成本限制了在资源受限的边缘环境中的部署。为克服这一挑战，我们提出了一种基于ternary脉冲神经元的脉冲时序感知类似变换器的架构，用于计算效率的多模态融合。对该方法在多个 Highway Environment 任务上的全面评估表明，所提出的方法在实现实时自动决策方面具有有效性和效率。
引用
@article{arxiv.2512.01882,
title = {New Spiking Architecture for Multi-Modal Decision-Making in Autonomous Vehicles},
author = {Aref Ghoreishee and Abhishek Mishra and Lifeng Zhou and John Walsh and Nagarajan Kandasamy},
journal= {arXiv preprint arXiv:2512.01882},
year = {2025}
}