子空间控制：将受约束的模型驾驭转化为可控谱优化
机器学习
2026-04-07 v1
摘要
大型语言模型（LLM）等基础模型强大，但在部署前往满足安全、隐私和任务特定要求等实际约束，往往需要进行定制化，从而导致模型驾驭和适应的“受约束”优化问题。然而，这类问题的解决在很大程度上尚未得到充分探索，且由于在优化过程中主要目标与约束目标之间存在干扰，具有挑战性。本文提出了一种子空间控制框架，用于受约束的模型训练。具体地，（i）我们首先从模型合并的角度分析，spectral交叉任务干扰的产生方式，并展示其可以通过对合并子空间进行正交化来实现一击即中的解决方案；（ii）我们建立了该解决方案与谱优化器Muon中的梯度正交化之间的联系；（iii）基于这些见解，我们引入SIFT（spectral interference-free training），利用一种局部化方案在优化过程中进行选择性干预，实现可控更新，以缓解目标-约束冲突。我们在四个具有代表性的应用中评估了SIFT：（a）机器遗忘，（b）安全对齐，（c）语音合成适应，和（d）幻觉缓解。与基于控制的和无控制的基线相比，SIFT在所有任务中始终实现显著且稳健的性能提升。代码可在https://github.com/OPTML-Group/SIFT获取。
引用
@article{arxiv.2604.04231,
title = {Subspace Control: Turning Constrained Model Steering into Controllable Spectral Optimization},
author = {Yancheng Huang and Changsheng Wang and Chongyu Fan and Yicheng Lang and Bingqi Shang and Yang Zhang and Mingyi Hong and Qing Qu and Alvaro Velasquez and Sijia Liu},
journal= {arXiv preprint arXiv:2604.04231},
year = {2026}
}