匹配特征而非词元：语言模型的基于能量的微调
机器学习
2026-03-17 v2
摘要
交叉熵（CE）训练为语言模型提供了密集且可扩展的监督，但它在教师强制下优化下一个词元预测，而非模型自回归下的序列级行为。我们引入了一种用于语言模型微调的特征匹配目标，该目标针对生成分布的序列级统计量，无需任务特定的验证器或偏好模型即可提供密集的语义反馈。为了高效优化这一目标，我们提出了基于能量的微调（EBFT），它使用分块并行采样从嵌套前缀并发生成多个自回归序列，对这些序列批量提取特征，并利用得到的嵌入执行在策略的策略梯度更新。我们提出了一个理论视角，将EBFT与KL正则化特征匹配和基于能量的建模联系起来。在实验上，在问答编码、非结构化编码和翻译任务中，EBFT与RLVR相当，并在下游准确率上优于SFT，同时实现了比这两种方法更低的验证交叉熵。
引用
@article{arxiv.2603.12248,
title = {Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models},
author = {Samy Jelassi and Mujin Kwun and Rosie Zhao and Yuanzhi Li and Nicolo Fusi and Yilun Du and Sham M. Kakade and Carles Domingo-Enrich},
journal= {arXiv preprint arXiv:2603.12248},
year = {2026}
}