利用任务自适应注意力生成器进行实时自动驾驶的多任务学习
计算机视觉与模式识别
2024-03-07 v1
摘要
由于即时决策和快速响应的必要性，实时处理在自动驾驶系统中至关重要。在现实场景中，自动驾驶车辆必须持续解读周围环境、分析复杂的传感器数据，并在数秒内做出决策，以通过众多计算机视觉任务确保安全。本文提出了一种新的实时多任务网络，擅长处理三项关键的自动驾驶任务：单目 3D 物体检测、语义分割和稠密深度估计。为应对多任务学习中普遍存在的负迁移挑战，我们引入了一种任务自适应注意力生成器。该生成器旨在自动识别三项任务间的相互关系并安排任务共享模式，同时利用硬参数共享方法的效率。据我们所知，所提出的模型在能够并发处理多项任务（尤其是 3D 物体检测）的同时保持实时处理速度方面具有开创性。我们在 Cityscapes-3D 数据集上对经过严格优化的网络进行了测试，其表现始终优于各种基线模型。此外，深入的消融研究证实了我们框架中集成方法的有效性。
引用
@article{arxiv.2403.03468,
title = {Multi-task Learning for Real-time Autonomous Driving Leveraging Task-adaptive Attention Generator},
author = {Wonhyeok Choi and Mingyu Shin and Hyukzae Lee and Jaehoon Cho and Jaehyeon Park and Sunghoon Im},
journal= {arXiv preprint arXiv:2403.03468},
year = {2024}
}
备注
Accepted at ICRA 2024