曲线球挡：驾驶的正确方向未必是线性的
人工智能
2026-03-24 v3
摘要
激活操控是控制大型语言模型(LLM)行为的常用方法，通过干预内部表示来实现。现有方法大多依赖线性表示假设，假设行为属性可使用全局线性方向进行操控。然而实际情况中，这类线性干预往往行为不一致。我们通过分析LLM激活空间的内在几何，质疑了这一假设。通过测量测地线与欧几里得距离之比来衡量几何畸变，我们观察到相当大的且与概念相关的畸变，表明激活空间无法用全局线性几何来近似。基于此，我们提出了"曲线球挡操控"(Curveball steering)，一种基于多项式核主成分分析的非线性操控方法，能够在更符合所学激活几何的特征空间中进行干预。曲线球挡操控在一致性上优于基于线性主成分分析的操控方法，特别是在存在显著几何畸变的情形下，表明几何感知的非线性操控为全局线性干预提供了原则性的替代方案。
引用
@article{arxiv.2603.09313,
title = {Curveball Steering: The Right Direction To Steer Isn't Always Linear},
author = {Shivam Raval and Hae Jin Song and Linlin Wu and Abir Harrasse and Jeff M. Phillips and Fazl Barez and Amirali Abdullah},
journal= {arXiv preprint arXiv:2603.09313},
year = {2026}
}