镜像下降法的信息几何

信息几何将微分几何中的概念应用于概率论与统计学，尤其适用于参数位于 Riemann 流形上的指数族参数估计问题。诱导流形的几何性质与估计问题的统计性质之间的联系已得到充分确立。然而，开发可扩展至更大规模问题的一阶方法一直是信息几何学界较少关注的领域。结合流形结构的最知名算法是 Amari 提出的二阶自然梯度下降算法。另一方面，随机逼近方法促成了针对噪声目标函数优化的一阶方法的发展。由 Nemirovski 和 Yudin 开发的 Robbins-Monro 算法的一种近期推广形式——镜像下降法，是一种诱导非欧几里得几何的一阶方法。然而，当前对镜像下降法的分析并未精确刻画所诱导的非欧几里得几何，也未从统计相对效率的角度考虑其性能。在本文中，我们证明了由 Bregman 散度诱导的镜像下降法等价于对偶 Riemann 流形上的自然梯度下降算法。利用这一等价性可得：(1) 镜像下降法是沿指数族 Riemann 流形的最速下降方向；(2) 应用于指数族参数估计且采用对数似然损失的镜像下降法渐近达到经典的 Cram\'er-Rao 下界；(3) 对应于指数族流形的自然梯度下降法可以通过镜像下降法作为一阶方法来实现。