面向离散推理的自我感知马尔可夫模型
机器学习
2026-03-26 v2 机器学习
摘要
标准的掩码离散扩散模型因无法在掩码路径上纠正自身错误，在推理任务中存在局限。由于其依赖固定数量的去掩码步骤，无法根据给定问题的复杂度调整计算。为此，我们引入一种基于学习其自身输出所训练的马尔可夫转移核的方法。该设计使标记能够被重新掩码，从而纠正先前的错误。此外，我们不需要固定的时间计划，而是使用训练好的停止准则。这使得函数评估次数能够针对推理问题的难度进行自适应。我们的自适应方法仅需添加两个轻量级预测头，即可复用和微调现有的预训练模型。在Sudoku-Extreme数据集上，我们明显优于其他基于流的方法，有效性达95%。在Countdown-4上，我们仅需平均10步即可正确解决近96%的问题，其中许多问题已在2步即可解决。
引用
@article{arxiv.2603.16661,
title = {Self-Aware Markov Models for Discrete Reasoning},
author = {Gregor Kornhardt and Jannis Chemseddine and Christian Wald and Gabriele Steidl},
journal= {arXiv preprint arXiv:2603.16661},
year = {2026}
}