最大编码率降低的全局几何分析
机器学习
2025-11-17 v2
摘要
用于学习结构化且紧凑深度表示的最大编码率降低（MCR）目标正受到越来越多的关注，尤其是在其近期被用于推导完全可解释且高效的深度网络架构之后。然而，它缺乏完整的理论证明：目前仅知其全局最优解的性质，而其全局景观尚未得到研究。在本工作中，我们对其所有局部和全局最优解以及其他类型的临界点的性质给出了完整的刻画。具体而言，我们证明了 MCR 问题的每个（局部或全局）最大化器都对应于一个低维、具判别性且多样化的表示，此外，该目标的每个临界点要么是局部最大化器，要么是严格鞍点。这种有利的景观使得 MCR 成为通过一阶优化方法学习多样化和具判别性表示的目标的自然选择。为了验证我们的理论发现，我们在合成和真实数据集上进行了广泛的实验。
引用
@article{arxiv.2406.01909,
title = {A Global Geometric Analysis of Maximal Coding Rate Reduction},
author = {Peng Wang and Huikang Liu and Druv Pai and Yaodong Yu and Zhihui Zhu and Qing Qu and Yi Ma},
journal= {arXiv preprint arXiv:2406.01909},
year = {2025}
}
备注
This work has been accepted for publication in the Proceedings of the 41st International Conference on Machine Learning (ICML 2024)