更好的指令往返翻译对齐
计算与语言
2024-08-15 v2 人工智能
机器学习
摘要
我们提出了一种新方法——指令往返翻译，用于构建基于世界知识的高质量合成数据，以对齐大型语言模型(LLMs)。给定来自网络语料库的文档，我们使用Li等人(2023a)提出的往返翻译方法生成并精选合成指令，进一步基于初始文档重写响应以提高其质量。在得到的(往返翻译指令、重写后响应)对上进行微调后，在AlpacaEval上的获胜率高于使用其他常见指令数据集(如Humpback、ShareGPT、Open Orca、Alpaca-GPT4和Self-instruct)。我们还展示了使用LLM重写响应优于直接蒸馏，且两个生成的文本分布在嵌入空间中 exhibits显著区别。进一步分析表明，我们的往返翻译指令的质量高于其他合成指令来源，而我们的响应在多样性和复杂度上优于从蒸馏获得的响应。总体而言，我们发现指令往返翻译将两者的优势融合在一起——既利用了网络信息的多样性和数量，又确保了必要用于有效对齐的响应质量。
引用
@article{arxiv.2408.04614,
title = {Better Alignment with Instruction Back-and-Forth Translation},
author = {Thao Nguyen and Jeffrey Li and Sewoong Oh and Ludwig Schmidt and Jason Weston and Luke Zettlemoyer and Xian Li},
journal= {arXiv preprint arXiv:2408.04614},
year = {2024}
}