以轨迹为教师：通过能量导航蒸馏实现少步离散流匹配
机器学习
2026-05-11 v1 人工智能
计算与语言
摘要
离散流匹配通过迭代将噪声标记转换为连贯语言来生成文本，但可能需要数百次前向传递。蒸馏使用多步轨迹训练学生以在少数步骤中复现过程。当学生表现不佳时，通常的解释是容量不足。我们认为情况恰恰相反：轨迹才是瓶颈，而非学生。每个训练轨迹都是通过一系列盲目随机跳跃构建的，没有对序列质量进行评估；早期中点的单次错误决策会通过后续步骤传播，但学生必须模仿结果。Trajectory-Shaped Discrete Flow Matching（TS-DFM）将这些盲目跳跃替换为引导导航：一种轻量级能量指南在每个中点评估候选续写，选择最具连贯性的选项。所有塑形仅发生在训练期间，推理成本不变。在1.7亿参数的语言建模上，塑形学生在8步时比1024步教师实现32%更低的困惑度，速度提升128倍，所获收益在不同来源分布和三个规模递增的评估者之间保持一致。TS-DFM 在我们比较的所有离散生成基准中实现了最佳困惑度，包括使用6倍更多数据或5倍更大模型训练的方法。
引用
@article{arxiv.2605.07924,
title = {Trajectory as the Teacher: Few-Step Discrete Flow Matching via Energy-Navigated Distillation},
author = {Amin Karimi Monsefi and Dominic Culver and Nikhil Bhendawade and Manuel R. Ciosici and Yizhe Zhang and Irina Belousova},
journal= {arXiv preprint arXiv:2605.07924},
year = {2026}
}