TADFormer：面向高效多任务学习的任务自适应动态Transformer
计算机视觉与模式识别
2025-03-31 v2
摘要
迁移学习范式推动了各类视觉任务的显著进展。然而，随着最先进模型的不断增大，经典的全参数微调在多任务学习（MTL） setup中常常难以实现计算上的可行，尤其是当训练复杂度随任务数量成比例增长时。因此，近期研究探索了针对MTL架构的参数高效微调（PEFT）。尽管已有进展，但这些方法在捕捉至关重要的多任务学习中细粒度、任务特定特征方面仍存在局限。本文引入任务自适应动态Transformer，称为TADFormer，一种新型PEFT框架，通过动态考虑任务特定输入上下文，在细粒度层面进行任务感知特征适应。TADFormer提出了用于任务适应的参数高效提示和Dynamic Task Filter（DTF），以输入上下文为条件捕获任务信息。在PASCAL-Context基准测试上进行的实验表明，所提方法在密集场景理解任务中实现了更高准确率，同时在多任务模型全参数微调时将可训练参数数量降低最高可达8.4倍。TADFormer也在最新PEFT方法中展现出卓越的参数效率和准确率。
引用
@article{arxiv.2501.04293,
title = {TADFormer : Task-Adaptive Dynamic Transformer for Efficient Multi-Task Learning},
author = {Seungmin Baek and Soyul Lee and Hayeon Jo and Hyesong Choi and Dongbo Min},
journal= {arXiv preprint arXiv:2501.04293},
year = {2025}
}
备注
CVPR 2025 accepted