大型语言模型对齐的光谱编辑激活

大型语言模型(LLMs)常表现出不希望的行为，如生成不真实或偏见内容。对其内部表示进行编辑已被证明在现有对齐方法之上有效地缓解此类行为。我们提出一种新颖的推理时编辑方法，称为激活光谱编辑(SEA)，将输入表示投影到与正面演示(如真实)最大协方差的方向上，同时最小化与负面演示(如幻觉)的协方差。我们还将方法扩展到非线性编辑中使用特征函数。我们对在涉及真实性和偏见的基准测试上进行了大量实验，使用来自不同大小和模型家族的六个开源LLMs。结果表明，SEA在有效性、对类似任务的泛化以及计算和数据效率方面均优于其他方法。我们还表明，SEA编辑仅对其他模型能力影响有限。