语境相关线性激活引导语言模型
计算与语言
2026-04-28 v1
摘要
线性激活引导是一种强大的技术，可用于从有限标注数据中激发大型语言模型的能力并专化其行为。尽管有效，但现有方法通常对所有token应用固定的引导强度，导致在不同输入提示下引导质量不一致。本文引入了语境相关线性激活引导 (Contextual Linear Activation Steering, CLAS)，一种动态适应语境相关引导强度的技术。我们在十一个引导基准测试和四个模型系列上进行实验，CLAS始终优于标准线性激活引导，并在有限标注数据的情况下匹配或超越ReFT和LoRA的性能。因此，我们提出CLAS作为一种可扩展、可解释且准确的方法，用于专化和引导大型语言模型。
引用
@article{arxiv.2604.24693,
title = {Contextual Linear Activation Steering of Language Models},
author = {Brandon Hsu and Daniel Beaglehole and Adityanarayanan Radhakrishnan and Mikhail Belkin},
journal= {arXiv preprint arXiv:2604.24693},
year = {2026}
}