Householder 伪旋转：基于方向-幅值视角的 LLM 激活编辑新方法
计算与语言
2024-12-10 v2
摘要
激活编辑涉及直接编辑大语言模型（LLM）的内部表示以改变其行为并实现所需属性，已成为一个引人注目的研究领域。现有工作主要将 LLM 的激活视为空间中的点，通过添加驾驶向量来修改它们。然而，这种方法在在保持必要激活幅值一致性的同时实现更高性能 improvement 方面受限。为克服这些问题，我们提出了一种新颖的编辑方法，将激活视为其方向和幅值。我们称之为 Householder 伪旋转（HPR），该方法模拟旋转变换，从而保持激活范数并在 various safety benchmarks 上实现改进的性能。
引用
@article{arxiv.2409.10053,
title = {Householder Pseudo-Rotation: A Novel Approach to Activation Editing in LLMs with Direction-Magnitude Perspective},
author = {Van-Cuong Pham and Thien Huu Nguyen},
journal= {arXiv preprint arXiv:2409.10053},
year = {2024}
}
备注
EMNLP 2024