基于聚类的自监督学习的信息论基础
机器学习
2026-05-13 v1 信息论
math.IT
摘要
自监督学习（SSL）被公认为构建人工智能应用基础模型的关键工具。SSL的进步得益于对其原理的激烈争论和广泛的实证研究。本文旨在为SSL的基础理论发展做出贡献，重点关注深度聚类方法。通过类比监督学习，我们将SSL表述为K-L散度优化。通过对教师分布施加优化约束来防止模式坍塌。这导致了使用逆聚类先验进行归一化。我们证明，利用Jensen不等式，这种归一化可以简化为流行的批量中心化过程。知识蒸馏和中心化是SSL中常见的基于启发式的实践，但我们的工作为它们提供了理论基础。所开发的理论模型不仅支持特定的现有成功SSL方法，还为未来的研究指明了方向。
引用
@article{arxiv.2605.11870,
title = {Information theoretic underpinning of self-supervised learning by clustering},
author = {Josef Kittler and Sara Atito and Muhammad Awais},
journal= {arXiv preprint arXiv:2605.11870},
year = {2026}
}