面向 LLM 控制的 UniSteer：基于流匹配的激活空间文本引导
计算与语言
2026-05-29 v1
摘要
基于激活的控制通过在推理期间干预大语言模型(LLM)的内部表示来实现控制，已成为有效控制persona和style等行为的范例。然而，现有方法常依赖固定的控制方向或任务特定的干预模块，难以适应细粒度概念和组合约束。我们提出了UniSteer，一个文本引导的激活流匹配模型，从自然语言条件学习激活残差流的条件分布。与为每个目标行为拟合单独干预不同，UniSteer学习激活空间中的通用条件速度场。在推理时，UniSteer通过部分运输源激活以接近潜在状态，并在目标文本条件下重新生成它，然后注入到冻结的LLM中。该同一条件模型支持通过选择重构能量最低的文本标签来实现激活空间分类。实验表明，UniSteer在行为控制、真实性控制、细粒度概念控制、多约束指令遵循和激活空间分类方面提供了统一的接口。
引用
@article{arxiv.2605.30076,
title = {UniSteer: Text-Guided Flow Matching in Activation Space for Versatile LLM Steering},
author = {Yingdong Shi and Ruiming Zhang and Changming Li and Zhiyu Yang and Kaixing Zhang and Jingyi Yu and Kan Ren},
journal= {arXiv preprint arXiv:2605.30076},
year = {2026}
}
备注
16 pages,4 figures