逐点互信息剖面的性质与估计

逐点互信息剖面，或简称剖面，是给定一对随机变量的逐点互信息分布。其重要性质之一是期望恰为这些随机变量间的互信息。本文解析刻画了多元正态分布的剖面，并引入一新型分布族——弯曲混合模型（Bend and Mix Models），其剖面可利用蒙特卡洛方法准确估计。我们随后展示弯曲混合模型如何用于研究现有互信息估计器的局限、考察变分估计中神经判别器的行为，以及理解实验离群值对互信息估计的影响。最后，我们展示弯曲混合模型如何用于获得基于模型的互信息贝叶斯估计，适用于具备可用领域专长且需不确定性量化的课题。