基于局部等变Transformer的离散神经流采样器
机器学习
2025-10-23 v2 机器学习
摘要
从未归一化离散分布进行采样是多个领域的基本问题。虽然马可夫链蒙特卡洛提供了原则方法，但常面临慢混合和收敛差的问题。本文提出离散神经流采样器(DNFS)，一个可训练且高效的离散采样框架。DNFS学习连续时间马可夫链的速率矩阵，使得所得动力学满足Kolmogorov方程。由于该目标涉及不可计算的分区函数，我们随后采用控制变量方法以降低其蒙特卡洛估计的方差，导致一个坐标下降学习算法。为进一步提高计算效率，我们提出局部等变Transformer，这是一种速率矩阵的新型参数化方法，显著提高了训练效率，同时保持了强大的网络表达能力。实验结果在广泛的应用领域中显示DNFS的有效性，包括从未归一化分布中采样、训练离散能量基模型以及求解组合优化问题。
引用
@article{arxiv.2505.17741,
title = {Discrete Neural Flow Samplers with Locally Equivariant Transformer},
author = {Zijing Ou and Ruixiang Zhang and Yingzhen Li},
journal= {arXiv preprint arXiv:2505.17741},
year = {2025}
}