链中舞动：在语言模型中 Reconcile 指令遵循与忠实性
计算与语言
2024-08-01 v1
摘要
现代语言模型（LMs）需要遵循人类指令同时保持忠实性；然而，它们往往无法同时实现这两者。本文提供了关于指令遵循（即遵循开放性指令）与忠实性（即以给定上下文为依据）之间权衡的具体证据。例如，对LLaMA-7B进行指令遵循数据集的微调后，其忠实性会下降。相反，经过指令调优的Vicuna-7B在进一步针对需要上下文 grounding 的任务进行优化时，指令遵循性能会受到影响。一种常见的补救措施是使用数据混合进行多任务学习（MTL），但距离实现协同成果仍有距离。我们提出了一种简单而有效的方法，利用持续自指令调优的拒绝抽样（Rejection Sampling for Continued Self-instruction Tuning, ReSet），显著优于纯MTL方法。令人惊讶的是，我们发现更少的数据更有效：使用高质量但数据量仅为原来的三分之一的ReSet训练可获得 superior results。我们的发现提供了更好的理解语言模型对齐训练中目标差异的洞见。
引用
@article{arxiv.2407.21417,
title = {Dancing in Chains: Reconciling Instruction Following and Faithfulness in Language Models},
author = {Zhengxuan Wu and Yuhao Zhang and Peng Qi and Yumo Xu and Rujun Han and Yian Zhang and Jifan Chen and Bonan Min and Zhiheng Huang},
journal= {arXiv preprint arXiv:2407.21417},
year = {2024}
}
备注
preprint