全跨度对数线性模型及其快速学习算法

本文引入的全跨度对数线性（FSLL）模型被视为一种 $n$ 阶玻尔兹曼机，其中 $n$ 为目标系统中所有变量的数量。令 $X=(X_0,...,X_{n-1})$ 为有限离散随机变量，可取 $|X|=|X_0|...|X_{n-1}|$ 个不同值。FSLL 模型具有 $|X|-1$ 个参数，并能表示 $X$ 的任意正分布。FSLL 模型是一种“最高阶”玻尔兹曼机；然而，我们能在 $O(|X|\log|X|)$ 时间内计算出模型分布的对偶参数，该参数在指数族中发挥重要作用。此外，利用 FSLL 模型对偶参数的性质，我们可构造一种高效学习算法。FSLL 模型限于 $|X|\approx2^{25}$ 以内的小规模概率模型；但在此问题域内，FSLL 模型无需任何超参数调优即可灵活拟合训练数据背后的各种真实分布。实验表明，FSLL 在一台笔记本电脑上于一分钟内成功学习了六个 $|X|=2^{20}$ 的训练数据集。