探究指令模板规模对多模态语言模型训练的影响
计算机视觉与模式识别
2025-04-09 v3
摘要
当前多模态语言模型(MLM)的训练方法忽视了指令模板的影响。以往的研究通过利用手工制作或模型生成的模板来处理此问题，未能探究指令模板规模对MLM训练的影响。在本工作中，我们提出了一种程序化指令模板生成器，能够通过填充随机抽样的词位同义词到加权抽样的元模板中，产生超过15K个独特的指令模板，从而全面探索MLM在各种模板规模下的性能。我们对指令模板规模进行MLM训练的扩缩进行了深入 investigation，结果表明MLM能力并不随着模板规模的增加而持续提升。相反，在中等模板规模时可实现最佳性能。使用在最佳模板规模下进行数据增强训练的模型，在与在原始数据上训练的模型中可实现最高10%的性能提升，并在与规模相似的MLM调优模型中表现最佳，这些调优模型的数据增强规模最多为我们增强数据集规模的75倍。代码将在https://github.com/shijian2001/TemplateScaling公开。
引用
@article{arxiv.2412.08307,
title = {Investigating the Scaling Effect of Instruction Templates for Training Multimodal Language Model},
author = {Shijian Wang and Linxin Song and Jieyu Zhang and Ryotaro Shimizu and Jiarui Jin and Ao Luo and Yuan Lu and Li Yao and Cunjian Chen and Julian McAuley and Wentao Zhang and Hanqian Wu},
journal= {arXiv preprint arXiv:2412.08307},
year = {2025}
}