率失真问题中拓扑转变附近的临界慢化
信息论
2023-10-09 v3 math.IT
摘要
在率失真（RD）问题中，人们寻求满足目标失真约束的源信号的简化表示。此类最优表示在一些临界率值处会发生拓扑转变，其时其基数或维度发生改变。我们研究了用于求解此类问题的 Arimoto-Blahut 交替投影算法在那些临界点附近的收敛时间，涵盖率失真与信息瓶颈两种设定。我们指出，这些算法在临界点附近遭受临界慢化——收敛所需的迭代次数发散。该现象对机器学习与数据压缩问题均可能具有理论与实际意义。
引用
@article{arxiv.2103.02646,
title = {Critical Slowing Down Near Topological Transitions in Rate-Distortion Problems},
author = {Shlomi Agmon and Etam Benger and Or Ordentlich and Naftali Tishby},
journal= {arXiv preprint arXiv:2103.02646},
year = {2023}
}
备注
10 pages, 2 figures, ISIT 2021 submission