用于 Wyner 多视图无监督学习的高效交替最小化求解器
信息论
2023-04-27 v2 机器学习
math.IT
最优化与控制
摘要
在这项工作中，我们采用 Wyner 公共信息框架进行无监督多视图表示学习。在该框架内，我们提出了两种新颖的构造，能够基于交替最小化原理开发计算高效的求解器。第一种构造称为变分形式（variational form），其复杂度随视图数量线性增长，并基于变分推断紧替代界与拉格朗日优化目标函数。第二种构造即表示形式（representational form），被证明可将已知结果作为特例包含在内。在此，我们基于交替方向乘子法（ADMM）算法开发了一个定制版本，用于求解由此产生的非凸优化问题。在这两种情况下，所提求解器在特定相关区域内的收敛性均得以确立。此外，我们的实证结果表明，与当前最优（SOTA）求解器相比，所提方法具有有效性。简而言之，与 SOTA 技术相比，所提求解器具有计算高效、理论收敛保证（局部极小）、随视图数量可扩展的复杂度以及卓越的精度。本文关注离散情形，关于连续分布的结果另行报道。
引用
@article{arxiv.2303.15866,
title = {Efficient Alternating Minimization Solvers for Wyner Multi-View Unsupervised Learning},
author = {Teng-Hui Huang and Hesham El Gamal},
journal= {arXiv preprint arXiv:2303.15866},
year = {2023}
}