面向统一自动驾驶的多任务协同训练中有效自适应方法
计算机视觉与模式识别
2022-09-20 v1
摘要
为实现对多个下游任务的整体性同时理解，需要提取具有更强可迁移性的特征。尽管许多最新的自监督预训练方法在主流的预训练-微调范式下于各类视觉任务上取得了令人印象深刻的性能，但它们在多任务学习场景中的泛化能力尚待探索。本文中，我们广泛研究了多种自监督方法（如 MoCo 和 SimCLR）在大规模驾驶数据集 BDD100K 上三个下游任务（语义分割、可行驶区域分割和交通目标检测）的迁移性能。我们惊讶地发现它们的性能次优甚至远落后于单任务基线，这可能源于预训练-微调范式中训练目标与架构设计的差异。为克服该困境并避免重新设计资源密集的预训练阶段，我们提出了一种简单而有效的面向通用多任务训练的预训练-自适应-微调范式，其中现成的预训练模型可被有效自适应而无需增加训练开销。在自适应阶段，我们利用可学习的多尺度适配器在多任务目标监督下动态调节预训练模型权重，同时保持预训练知识不被改动。此外，我们将视觉-语言预训练模型 CLIP 视为预训练-自适应-微调范式的强力补充，并提出一种名为 LV-Adapter 的新型适配器，其通过任务特定提示以及视觉与文本特征间的对齐将语言先验融入多任务模型。
引用
@article{arxiv.2209.08953,
title = {Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving},
author = {Xiwen Liang and Yangxin Wu and Jianhua Han and Hang Xu and Chunjing Xu and Xiaodan Liang},
journal= {arXiv preprint arXiv:2209.08953},
year = {2022}
}
备注
Accepted at NeurIPS 2022