基于流形的推理：扩散语言模型的双向一致性自验证
机器学习
2026-05-28 v3 人工智能
摘要
虽然扩散大语言模型 (dLLMs) 对于全局规划具有结构优势，但高效验证其通过有效推理轨迹到达正确答案仍是关键挑战。本文提出了一种几何视角：在流形上进行推理。我们假设，有效的生成轨迹作为学习分布的高密度流形上的稳定吸引子， whereas 无效路径表现为离流形漂移。为实现此目标，我们引入双向流形一致性 (Bidirectional Manifold Consistency, BMC)，这是一种无需训练的、无监督的度量，通过前向掩码和逆向重构循环来量化生成序列的稳定性。经验上，我们展示了 BMC 在完整推理生命周期中的多样用途：(1) 在诊断中，它作为无需 ground truth answer 的解答有效性鉴别器；(2) 在推理中，它 enables rejection resampling 以有效集中计算资源用于复杂推理任务；(3) 在对齐方面，它作为稠密几何奖励，将稀疏结果监督转化为细粒度指导，使模型能够超越标准基线自我进化。我们的结果表明，内在几何稳定性是 dLLMs 正确性的稳健指示器。
引用
@article{arxiv.2604.16565,
title = {Reasoning on the Manifold: Bidirectional Consistency for Self-Verification in Diffusion Language Models},
author = {Jiaoyang Ruan and Xin Gao and Yinda Chen and Hengyu Zeng and Liang Du and Guanghao Li and Jie Fu and Jian Pu},
journal= {arXiv preprint arXiv:2604.16565},
year = {2026}
}
备注
31 pages, 7 figures. Accepted to the 43rd International Conference on Machine Learning (ICML 2026). Camera-ready version