CoIDO：基于耦合重要性-多样性优化的视觉指令调优高效数据选择
计算机视觉与模式识别
2025-10-22 v1
摘要
多模态大语言模型（MLLM）高度依赖指令调优以对齐视觉和语言能力，但在大规模数据集上进行训练的计算成本仍是主要瓶颈。现有数据选择方法旨在通过选择重要且多样化的子集来缓解此问题，但常常面临两个关键局限：整个数据集上的高计算开销，以及因独立处理重要性和多样性而导致的数据选择次优。我们引入CoIDO，一个新型双目标框架，联合优化数据重要性和多样性以克服上述挑战。不同于需要对整个数据集进行高成本评估的现有方法，CoIDO采用轻量级插件评分器。该评分器仅在少量随机样本上进行训练，以学习候选集的分布，大幅降低计算需求。通过利用均匀不确定性基方法，CoIDO在训练期间有效平衡重要性和多样性，实现高效且可扩展的数据选择。在实验中，我们仅使用随机抽样数据的20%训练CoIDO评分器。训练完成后，CoIDO被应用于整个数据集，以选择20%的子集用于指令调优。在广泛使用的LLaVA-1.5-7B模型上进行十个下游任务测试显示，该选定子集平均达到了完整数据微调性能的98.2%。
引用
@article{arxiv.2510.17847,
title = {CoIDO: Efficient Data Selection for Visual Instruction Tuning via Coupled Importance-Diversity Optimization},
author = {Yichen Yan and Ming Zhong and Qi Zhu and Xiaoling Gu and Jinpeng Chen and Huan Li},
journal= {arXiv preprint arXiv:2510.17847},
year = {2025}
}
备注
22 pages, 8 figures, 39th Conference on Neural Information Processing Systems (NeurIPS 2025)