Wyner 公共信息的高效求解器及其在多模态聚类中的应用
信息论
2024-02-23 v1 math.IT
摘要
我们提出了 Wyner 公共信息优化问题的两个新颖扩展。每个扩展都放松了 Wyner 公式中的一个基本约束。变分 Wyner 公共信息 (Variational Wyner Common Information) 放松了与已知分布的匹配约束，同时对可行解集施加条件独立性。我们通过变分推断理论推导出了所得无约束拉格朗日量的紧密代理上界，该上界可以被高效最小化。我们的求解器适用于条件独立性成立的问题，显著降低了计算复杂度；另一方面，二分 Wyner 公共信息 (Bipartite Wyner Common Information) 放松了条件独立性约束，而在可行集上强制执行匹配条件。利用所构建优化问题的差凸结构，我们表明我们的求解器对条件相关源具有鲁棒性。两种求解器均可证明收敛（至局部驻点），且在经验上，它们能以 substantially 更少的运行时间获得比 Wyner 公式更准确的解。此外，它们可以通过将公共随机性参数化为指数族分布的成员，扩展到未知分布设置。我们的方法适用于多模态聚类问题，即多个模态的观测值来自同一聚类。经验表明，我们的求解器优于最先进的多模态聚类算法，性能显著提升。
引用
@article{arxiv.2402.14266,
title = {Efficient Solvers for Wyner Common Information with Application to Multi-Modal Clustering},
author = {Teng-Hui Huang and Hesham El Gamal},
journal= {arXiv preprint arXiv:2402.14266},
year = {2024}
}