Rényi 散度的变分表示与神经网络估计

我们推导了概率测度 $Q$ 与 $P$ 之间 Rényi 散度族 $R_\alpha(Q\|P)$ 的一个新变分公式。我们的结果推广了经典的 Kullback-Leibler 散度的 Donsker-Varadhan 变分公式。我们进一步证明该 Rényi 变分公式在一系列函数空间上成立；这导出了在极弱假设下的优化器公式，也是我们发展 Rényi 散度估计器一致性理论的关键。通过将此理论应用于神经网络估计器，我们表明若某神经网络族满足若干加强版通用逼近性质之一，则相应的 Rényi 散度估计器是一致的。与基于密度估计器的方法不同，我们的估计器仅涉及 $Q$ 和 $P$ 下的期望，因此在高维系统中更为有效。我们通过在多达 5000 维系统中的若干神经网络估计数值例子说明了这一点。