测度空间中具有相对光滑性的镜像下降及其在 Sinkhorn 和 EM 中的应用
最优化与控制
2022-10-12 v2 机器学习
机器学习
摘要
机器学习中的许多问题可以表述为在测度向量空间上优化凸泛函。本文研究了镜像下降算法在这种无限维设定下的收敛性。通过方向导数定义 Bregman 散度，我们推导了该方案对于相对光滑且凸的泛函对的收敛性。这些假设允许处理非光滑泛函，例如 Kullback--Leibler (KL) 散度。将我们的结果应用于联合分布和 KL，我们证明了在连续设定下，熵正则最优传输的 Sinkhorn 原始迭代对应于镜像下降，并获得了其（次）线性收敛的新证明。我们还证明了期望最大化 (EM) 总可以在形式上写成镜像下降。当固定混合参数仅对隐分布进行优化时——这对应于信号处理中的 Richardson--Lucy 去卷积方案——我们推导出了次线性收敛速率。
引用
@article{arxiv.2206.08873,
title = {Mirror Descent with Relative Smoothness in Measure Spaces, with application to Sinkhorn and EM},
author = {Pierre-Cyril Aubin-Frankowski and Anna Korba and Flavien Léger},
journal= {arXiv preprint arXiv:2206.08873},
year = {2022}
}