通过细粒度指令变体提升和评估指令遵循能力
人工智能
2024-10-17 v3 计算与语言
机器学习
摘要
大型语言模型(LLM)与精确指令的有效对齐对于其在多样化现实场景中的应用至关重要。当前方法侧重于增强训练和评估样本的多样性和复杂度，却不足以准确评估LLM遵循相似指令变体的能力。我们引入一种有效的数据增强技术DeMoRecon，该技术将复杂指令分解为更简单的子组件，修改这些子组件，然后重构为新的变体，从而在保持原指令语境和复杂度的同时引入变异性，这对于训练和评估LLM的指令遵循精度至关重要。基于DeMoRecon，我们开发了FGIV数据集，其中包含1,773个种子指令的细粒度指令变体，用于微调和评估LLM。我们的发现表明，使用FGIV微调的LLM将在我们常用的指令遵循基准测试中获得显著的性能提升。
引用
@article{arxiv.2406.11301,
title = {Enhancing and Assessing Instruction-Following with Fine-Grained Instruction Variants},
author = {Jiuding Yang and Weidong Guo and Kaitong Yang and Xiangyang Li and Yu Xu and Di Niu},
journal= {arXiv preprint arXiv:2406.11301},
year = {2024}
}