用于语义引导的概念器
机器学习
2026-05-07 v1 计算与语言
摘要
基于激活的引导在推理时提供了对 LLM 行为的控制，但主流范式将每个概念简化为单一方向，其几何结构在很大程度上未被检验。我们不再选择单一的引导方向，而是使用概念器：从双极概念两极汇集的激活中估计出的软投影矩阵，它们保留了该概念完整的全多维子空间。几何分析表明，双极子空间严格包含单向量基线。我们进一步表明，概念器配额提供了一种无参数的层选择诊断方法，在三个指令微调模型和三个语义维度上，预测概念可分性的 Pearson 相关系数高达 r=0.96。除了选择之外，概念器允许闭式布尔代数（AND、OR、NOT）：我们在主题相关的子概念上评估了概念器的组合性。在一项系统的五轴设计空间评估中，概念器在概念子空间为多维的层上匹配或超越了加性基线，同时产生的退化输出显著减少。概念器引导是一种几何上原则化、可组合且更安全的替代方案，克服了从有限对比对中进行单方向引导的局限性。
引用
@article{arxiv.2605.04980,
title = {Conceptors for Semantic Steering},
author = {Ilias Triantafyllopoulos and Young-Min Cho and Ren Tao and Miranda Muqing Miao and Sunny Rai and Lyle Ungar and Sharath Chandra Guntuku and Neville Ryant and João Sedoc},
journal= {arXiv preprint arXiv:2605.04980},
year = {2026}
}