球面引擎：语言模型的几何感知激活旋转
机器学习
2026-05-19 v2 计算与语言
摘要
推理时引擩提供了一种无需重新训练即可控制语言模型 (LM) 的有前景的方法。然而，标准方法通常依赖激活加法，这不可避免地改变隐藏状态的大小，引发表示塌陷和性能下降的担忧。本文探讨了球面引擩 (Spherical Steering)，一种通过激活旋转解决此权衡的训练-free 方法。我们的 method 沿着测地线旋转激活，以目标方向为目标，既保持信号完整性，又实现对目标概念的引擩。为了进一步增强适应性，我们引入置信门控机制，基于输入不确定性动态调节引擩强度。广泛的实验在多个选择题基准中表明，球面引擩显著优于基于加法的基线方法（在 TruthfulQA、COPA 和 Storycloze 等基准上提升显著），同时保持模型的通用开放式生成质量。本 work 突显了几何一致性的价值，表明范数保持旋转是精确推理时控制的稳健且有效的方法。代码已公开：https://github.com/chili-lab/Spherical-Steering。
引用
@article{arxiv.2602.08169,
title = {Spherical Steering: Geometry-Aware Activation Rotation for Language Models},
author = {Zejia You and Chunyuan Deng and Hanjie Chen},
journal= {arXiv preprint arXiv:2602.08169},
year = {2026}
}
备注
ICML 2026