一种用于马尔可夫信息论优化问题的线性收敛Douglas-Rachford分裂求解器
信息论
2022-10-25 v2 math.IT
最优化与控制
摘要
本文提出使用Douglas-Rachford分裂方法（DRS）求解信息瓶颈（IB）与隐私漏斗（PF）问题。我们研究了一个通用的马尔可夫信息论拉格朗日量，将IB与PF纳入统一框架。利用Kurdyka-Łojasiewicz不等式，我们证明了所提求解器的线性收敛性。此外，我们的分析超越IB与PF，适用于任意凸-弱凸对目标。基于结果，我们开发了两类线性收敛IB求解器：一类在收敛性能上优于现有求解器，另一类可独立于相关性-压缩权衡。而且，我们的结果适用于PF，产生了一类新的线性收敛PF求解器。在实证上，所提IB求解器获得与基于Blahut-Arimoto的基准相当的解，且相比现有求解器在更宽的惩罚系数范围内收敛。对于PF，我们的非贪婪求解器比基于聚类的贪婪求解器能更好地刻画隐私-效用权衡。
引用
@article{arxiv.2203.07527,
title = {A Linearly Convergent Douglas-Rachford Splitting Solver for Markovian Information-Theoretic Optimization Problems},
author = {Teng-Hui Huang and Aly El Gamal and Hesham El Gamal},
journal= {arXiv preprint arXiv:2203.07527},
year = {2022}
}