超越正态：互信息估计器的评估

互信息是一种通用的统计依赖度量，已在表示学习、因果推断、域泛化与计算生物学中找到应用。然而，互信息估计器通常在简单的概率分布族上评估，即多元正态分布与选定的一维随机变量分布。本文中，我们展示如何构造具有已知真实互信息的多样化分布族，并提出一个与语言无关的互信息估计器基准测试平台。我们讨论经典与神经估计器在高维、稀疏交互、长尾分布和高互信息设定下的普遍适用性与局限性。最后，我们为实践者提供指南，说明如何根据所考虑问题的难度选择合适的估计器，以及在将估计器应用于新数据集时需注意的问题。