局部不一致解决：注意力与控制在概率模型中的相互作用
人工智能
2026-04-21 v1 机器学习
摘要
我们提出一种用于学习和近似推断的通用算法，具有直观的认识论解释：迭代聚焦于模型的子集并通过受控参数解决不一致性。我们称之为局部不一致解决 (LIR) 的这一框架，建立在概率依赖图 (PDGs) 之上，后者提供了能够捕捉不一致信念的灵活表示基础。我们展示了 LIR 如何统一并推广了文献中各种重要算法，包括期望最大化 (EM) 算法、信念传播、对抗性训练、GAN 和 GFlowNets。在后一种情况下，LIR 实际上提出了一种更自然的损失函数，我们演示了这可以改善 GFlowNet 的收敛性。每种方法都可通过选择一种引导注意力 (attention) 和控制 (control) 的程序，作为 LIR 的具体实例来实现。我们为离散 PDGs 实现了该算法，并在合成生成的 PDGs 上研究其属性，比较其行为与完整 PDG 的全局优化语义。
引用
@article{arxiv.2604.17140,
title = {Local Inconsistency Resolution: The Interplay between Attention and Control in Probabilistic Models},
author = {Oliver E. Richardson and Mandana Samiei and Mehran Shakerinava and Joseph D. Viviano and Abdessamad El Kabid and Ali Parviz and Yoshua Bengio},
journal= {arXiv preprint arXiv:2604.17140},
year = {2026}
}
备注
9 page body,