基于任务间贡献与任务内难度的视觉指令微调自适应任务平衡
人工智能
2026-01-22 v3
摘要
视觉指令微调是多模态大模型的关键训练阶段。然而，当同时学习多个视觉任务时，由于任务间潜在的知识冲突，这种方法往往导致整体性能次优且不均衡。为缓解这一问题，我们提出了一种专为视觉指令微调设计的新型自适应任务平衡方法（VisATB）。具体而言，我们基于验证性能衡量视觉任务平衡的两个关键维度：(1) 任务间贡献（Inter-Task Contribution），即由于任务间共享知识，学习一个任务能提升其他任务性能的机制；(2) 任务内难度（Intra-Task Difficulty），指单个任务固有的学习难度。此外，我们提出对三类任务赋予更高权重：对其他任务有重大贡献的任务、从其他任务获得极少贡献的任务以及具有高学习难度的任务。在这三种任务加权策略中，第一和第三种侧重于提升整体性能，第二种旨在缓解性能不平衡。在三个基准上的大量实验表明，我们的 VisATB 方法在视觉指令微调中始终 achieves 更优越且更均衡的整体性能。数据、代码和模型见 https://github.com/YanqiDai/VisATB。
引用
@article{arxiv.2403.04343,
title = {Adaptive Task Balancing for Visual Instruction Tuning via Inter-Task Contribution and Intra-Task Difficulty},
author = {Yanqi Dai and Yong Wang and Zebin You and Dong Jing and Xiangxiang Chu and Zhiwu Lu},
journal= {arXiv preprint arXiv:2403.04343},
year = {2026}
}
备注
Accepted for the ACM Web Conference 2026 (WWW 2026)