ConTrans：通过概念移植实现弱到强对齐工程
计算与语言
2024-12-31 v2
摘要
确保大语言模型（LLM）的行为与人类目标、价值观和意图一致对其安全性至关重要，但计算成本高昂。为了降低LLM对齐训练的计算成本（尤其是参数量巨大的模型），并复用已学习的价值对齐，我们提出ConTrans，一种通过概念移植实现弱到强对齐迁移的新框架。从表示工程的角度，ConTrans从源LLM（通常是弱但已对齐的LLM）中提炼价值对齐中的概念向量。然后通过仿射变换将提炼后的概念向量重新公式化，以适应目标LLM（通常是强但未对齐的基础LLM）。第三步，ConTrans将重新公式化的概念向量移植到目标LLM的残差流中。实验表明，成功将多种对齐概念从7B模型移植到13B和70B模型，跨越多个LLM和LLM家族。值得注意的是，ConTrans在真实性方面甚至超越了指令微调模型。实验结果验证了跨LLM家族和LLM家族内概念移植的有效性。我们的工作成功展示了一种实现弱到强对齐泛化和控制的替代方法。
引用
@article{arxiv.2405.13578,
title = {ConTrans: Weak-to-Strong Alignment Engineering via Concept Transplantation},
author = {Weilong Dong and Xinwei Wu and Renren Jin and Shaoyang Xu and Deyi Xiong},
journal= {arXiv preprint arXiv:2405.13578},
year = {2024}
}