压缩与否——自监督学习与信息论：综述
机器学习
2023-11-22 v5 信息论
math.IT
摘要
深度神经网络在有监督学习任务中表现出色，但受限于需要大量标注数据。自监督学习作为一种有前景的替代方案而出现，使模型无需显式标签即可学习。信息论，尤其是信息瓶颈原理，在塑造深度神经网络方面发挥了关键作用。该原理侧重于优化压缩与保留相关信息之间的权衡，为有监督情境下高效的网络设计提供了基础。然而，其在自监督学习中的确切作用与适应性仍不明确。在本文中，我们从信息论视角审视各种自监督学习方法，引入一个统一框架，囊括了自监督信息论学习问题。我们将现有研究编织为连贯的叙述，深入探讨当代自监督方法，并突出潜在的研究途径与固有挑战。此外，我们讨论了信息论量的经验评估及其估计方法。总体而言，本文提供了对信息论、自监督学习与深度神经网络交叉领域的详尽综述。
引用
@article{arxiv.2304.09355,
title = {To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review},
author = {Ravid Shwartz-Ziv and Yann LeCun},
journal= {arXiv preprint arXiv:2304.09355},
year = {2023}
}