角度定向：通过旋转激活空间实现行为控制

在保护大语言模型通用能力的前提下控制其特定行为是人工智能安全可靠部署的核心挑战。当前的定向方法，如向量添加和方向性剔除，受限于由激活和特征方向定义的二维子空间内，参数选择敏感，可能因意外的激活空间相互作用而影响不相关特征。我们提出了角度定向（Angular Steering），这是一种新型且灵活的行为调制方法，通过在固定的二维子空间内旋转激活来实现。将定向建模为指向或远离目标行为方向的几何旋转，角度定向提供对诸如拒绝和遵从等行为的连续、精细控制。我们以拒绝定向和情感定向作为用例进行演示。此外，我们提出了自适应角度定向（Adaptive Angular Steering），这是一种选择性变体，仅旋转与目标特征对齐的激活，进一步增强稳定性和一致性。角度定向在统一的几何旋转框架下概括了现有的添加和正交化技术，简化了参数选择，保持模型在更广泛范围内调整的稳定性。跨多个模型家族和规模的实验表明，角度定向在保持一般语言建模性能的同时，实现稳健的行为控制，凸显其灵活性、泛化性和鲁棒性。代码和构件均可在 https://github.com/lone17/angular-steering/ 获取。