什么才是好的指令调优数据？基于原语学习的视角
计算与语言
2026-04-29 v1
摘要
指令调优数据集常常包含大量冗余和低质量样本，因此需要有效的数据选择方法。我们提出了一种基于加权原语影响(wICI)的指令数据选择框架，该框架衡量每个候选样本对与其语义相关的同伴减少指令跟随难度的效果。通过系统实验，我们回答了三个关键问题：从原语学习的角度看，什么样的指令调优数据才有效；样本难度是否与原语影响相关；原语影响如何转化为指令调优效果。跨多个模型和基准的实验表明，在数据预算受限的情况下，我们的方法始终优于现有基线方法，而且经验上显示，样本难度与原语影响呈负相关。
引用
@article{arxiv.2604.25132,
title = {What Makes Good Instruction-Tuning Data? An In-Context Learning Perspective},
author = {Guangzeng Han and Xiaolei Huang},
journal= {arXiv preprint arXiv:2604.25132},
year = {2026}
}
备注
ACL 2026, main conference