TBGC：面向多任务基础模型学习的任务级骨干导向梯度裁剪
计算机视觉与模式识别
2023-07-10 v1 人工智能
摘要
AllInOne 训练范式以多任务学习方式将广泛任务压缩进统一模型。然而，多任务学习中的优化比单任务学习更具挑战性，因为来自不同任务的梯度范数可能差异巨大，使骨干网络过度偏向某一特定任务。为解决此问题，我们提出任务级骨干导向梯度裁剪范式，与原始梯度裁剪方法相比，其有两点侧重：1）对每个任务独立执行梯度裁剪。2）将各任务生成的骨干梯度重新缩放至相同范数尺度。基于实验结果，我们认为任务级骨干导向梯度裁剪范式可在一定程度上缓解梯度偏置问题。我们还提出了一种新颖的多分支数据增强策略，将冲突的增强置于不同分支。我们的方法已被证明有效，并最终在 CVPR2023 基础模型挑战赛的排行榜 A 中获得第 1 名、排行榜 B 中获得第 2 名。值得注意的是，排行榜 A 中评估了全部三个任务（检测、分割和细粒度分类），而排行榜 B 未评估分割任务，在该任务上我们团队具有巨大优势。
引用
@article{arxiv.2307.03465,
title = {TBGC: Task-level Backbone-Oriented Gradient Clip for Multi-Task Foundation Model Learning},
author = {Zelun Zhang and Xue Pan},
journal= {arXiv preprint arXiv:2307.03465},
year = {2023}
}
备注
Foundation Model Challenge@CVPR2023, Accepted by CVPR2023 Workshop