HyperSteer: 基于超网络的大规模激活操控
计算与语言
2025-06-05 v1 人工智能
机器学习
摘要
通过修改内部激活来操控语言模型（LMs）是控制文本生成的一种流行方法。无监督字典学习方法（例如稀疏自编码器）可以扩展以生成大量操控向量，但缺乏对每个向量个体有效性的保证，也无法控制相关操控任务的覆盖范围。相比之下，用于构建操控向量的监督方法具有针对性和有效性，但每生成一个额外的操控向量都需要更多的数据收集和训练。在本工作中，我们引入HyperSteer——一种基于超网络的架构族，通过端到端训练，根据自然语言操控提示和被操控LM的内部状态来生成操控向量。在我们的评估中，我们证明将HyperSteer扩展至数千个操控提示，其性能超越了最先进的激活操控方法，即使在训练期间未见过的操控提示上也同样如此。此外，HyperSteer的性能与基于提示的操控方法相当。
引用
@article{arxiv.2506.03292,
title = {HyperSteer: Activation Steering at Scale with Hypernetworks},
author = {Jiuding Sun and Sidharth Baskaran and Zhengxuan Wu and Michael Sklar and Christopher Potts and Atticus Geiger},
journal= {arXiv preprint arXiv:2506.03292},
year = {2025}
}