基于互斥概率空间与局部相关性假设的人工智能图像生成探索

概率生成模型用于图像生成的常见假设是，学习全局数据分布就足以通过抽样生成新图像。我们研究了这一核心假设的局限性，即学习全局分布会导致记忆而非生成行为。我们提出了两个理论框架：互斥概率空间 (MEPS) 和局部依赖假设 (LDH)，用于进一步探讨。MEPS源于这样一个观察：涉及随机变量的确定性映射（例如神经网络）倾向于减少涉及的随机变量之间的重叠系数，从而导致互斥性。我们进一步提出了一个以重叠系数表示的下界，并引入了一个二进制潜在自动编码器 (BL-AE)，将图像编码为符号二进制潜在表示。LDH形式化了有限观察半径内的依赖，这激励我们的 $\gamma$-Autoregressive Random Variable Model ($\gamma$-ARVM)。$\gamma$-ARVM 是一种自回归模型，具有变量观察范围 $\gamma$，用于预测下一个标记的直方图。使用$\gamma$-ARVM，我们观察到随着观察范围的增加，自回归模型逐渐趋向于记忆。在全局依赖的极限情况下，该模型在我们的 BL-AE 生成的二进制潜在表示上表现为纯粹的记忆器。在综合实验和讨论支持下，我们的调查工作得以进行。