前缀文本如线:在基础语言模型中激发非英语对齐
计算与语言
2024-04-26 v1 人工智能
摘要
尽管监督微调(SFT)一直是将基础大语言模型(LLM)的输出定制为特定偏好的直接方法,但人们对这种对齐的深度提出了担忧,一些批评认为它仅仅是“表面的”。我们在跨语言生成任务的范围内批判性地检验了这一假设,提出 SFT 的有效性可能受到其对先前 token 的依赖的限制,这些 token 用于引导跨语言生成。基于这一关键洞察,并针对 SFT 所需的非英语数据成本高昂且可用性有限的挑战,我们引入了一种名为 PreTTY 的免训练对齐方法,该方法使用最少的与任务相关的先前 token 来弥合基础 LLM 和 SFT LLM 之间的差距,无需训练即可实现相当的性能。在八种语言的机器翻译和词性标注实验证明了 PreTTY 在跨语言环境中的有效性。值得注意的是,仅通过一两个先前 token 启动解码过程,基础 LLM 就能达到与其 SFT 对应模型相当的性能。该方法为 SFT 提供了一种高性价比的替代方案,并推动了多语言 LLM 的普及。
引用
@article{arxiv.2404.16766,
title = {Prefix Text as a Yarn: Eliciting Non-English Alignment in Foundation Language Model},
author = {Runzhe Zhan and Xinyi Yang and Derek F. Wong and Lidia S. Chao and Yue Zhang},
journal= {arXiv preprint arXiv:2404.16766},
year = {2024}
}