Aligner：对齐大语言模型时，一个全局 Token 抵得上数百万参数
计算与语言
2023-12-12 v1 人工智能
机器学习
摘要
我们提出了 Aligner，一种用于对齐数十亿参数规模大语言模型（LLM）的新型参数高效微调（PEFT）方法。Aligner 采用独特设计，构建了一组全局共享的可调 token，用于修改每一层的注意力。值得注意的是，即使仅使用一个仅包含 5,000 个参数的 token，Aligner 仍能取得与需要数百万参数的 LoRA 等最先进 LLM 适配方法相媲美的性能。这一能力在指令遵循和价值对齐任务中均得到了验证。除了在参数效率上提升多个数量级外，Aligner 对 LLM 内部机制的洞察也极具价值。我们方法的架构特征与有效性以及我们的实验表明，LLM 以某种正交的方式分离了其对“形式”和“知识”的内部处理。这一发现有望激发对 LLM 机制理解和价值对齐的新研究。
引用
@article{arxiv.2312.05503,
title = {Aligner: One Global Token is Worth Millions of Parameters When Aligning Large Language Models},
author = {Zhou Ziheng and Yingnian Wu and Song-Chun Zhu and Demetri Terzopoulos},
journal= {arXiv preprint arXiv:2312.05503},
year = {2023}
}
备注
81 pages, 77 figures