从权重到激活：驾驭是适应的下一个前沿？
计算与语言
2026-04-16 v1
摘要
后训练语言模型的适应通常通过参数更新或基于输入的方法实现，包括微调、参数高效适应和提示工程。与此同时，越来越多的工作通过修改推理时的内部激活来影响模型行为，这种方法称为驾驶（steering）。尽管驾驶的使用日益增多，但很少在与既定适应方法相同的概念框架内进行分析。在本工作中，我们认为驾驶应被视为一种模型适应形式。我们引入一套功能性准则，用于比较驾驶方法与经典替代方法。这一分析将驾驶定位为一种基于在激活空间中进行有针对性干预、无需参数更新即可实现局部和可逆行为变化的独特适应范式。 resulting 框架阐明了驾驶与现有方法的关系，动机是建立一种统一的模型适应分类框架。
引用
@article{arxiv.2604.14090,
title = {From Weights to Activations: Is Steering the Next Frontier of Adaptation?},
author = {Simon Ostermann and Daniil Gurgurov and Tanja Baeumel and Michael A. Hedderich and Sebastian Lapuschkin and Wojciech Samek and Vera Schmitt},
journal= {arXiv preprint arXiv:2604.14090},
year = {2026}
}
备注
Accepted to ACL 2026 (Main)