CommonIT：基于数据分区的常见性感知指令调优方法
计算与语言
2024-10-07 v1 人工智能
摘要
通过指令调优，大型语言模型（LLM）可以增强其遵循命令的能力。与大多数关注数据混合的研究不同，本研究从训练过程中数据抽样的角度出发，致力于提升模型能力。借鉴人类学习过程——即通过针对单一类型的主题进行有针对性的练习来更容易掌握类似主题的解决方案——我们提出了一种新颖的指令调优策略，称为CommonIT：常见性感知指令调优。具体而言，我们将指令数据集聚类分为三个提出的度量标准（任务、嵌入和长度）的不同组别，确保每个训练小批量（或“分区”）仅包含来自单个组别的数据，这既带来了跨小批量的数据随机性，又保证了小批量内的数据相似性。对LLaMa模型进行严格测试表明，CommonIT通过IT数据集（FLAN、CoT和Alpaca）和模型（LLaMa2-7B、Qwen2-7B、LLaMa 13B和BLOOM 7B）的效果显著提升了LLMs的指令跟随能力。CommonIT在使用长度度量标准时，在通用领域（即知识、推理、多语言性和编码的平均得分）平均提升2.1%；在使用任务度量标准时，在特殊领域（即GSM、Openfunctions和Code）平均提升5.2%；在使用嵌入度量标准时，在具体任务（即MMLU）平均提升3.8%。代码已公开于\url{https://github.com/raojay7/CommonIT}。
引用
@article{arxiv.2410.03077,
title = {CommonIT: Commonality-Aware Instruction Tuning for Large Language Models via Data Partitions},
author = {Jun Rao and Xuebo Liu and Lian Lian and Shengjun Cheng and Yunjie Liao and Min Zhang},
journal= {arXiv preprint arXiv:2410.03077},
year = {2024}
}
备注
Accepted to EMNLP 2024