通过潜在分布匹配理解自监督学习
机器学习
2026-05-28 v3 机器学习
摘要
自监督学习（SSL）在从复杂数据中寻找通用潜在表征方面表现出色，但缺乏能够解释现有方法多样性并指导新方法设计的统一理论框架。我们将 SSL 视为潜在分布匹配（LDM）：学习能够最大化假设潜在模型下表征对数概率（对齐）的表示，同时最大化潜在熵以防止坍缩（均匀性）。这一视角统一了独立成分分析与对比学习、非对比学习和预测性 SSL 方法，包括停止梯度方法。利用 LDM，我们推导了一个基于卡尔曼预测器的高维时序数据的非线性、无采样的贝叶斯滤波模型。我们进一步证明了，具有非线性预测器时，预测性 LDM 在温和假设下可实现潜在表征的可识别性。总体而言，LDM阐明了既定 SSL 方法背后的假设，并为开发新方法提供原则性指导。
引用
@article{arxiv.2605.03517,
title = {Understanding Self-Supervised Learning via Latent Distribution Matching},
author = {Fabian A Mikulasch and Friedemann Zenke},
journal= {arXiv preprint arXiv:2605.03517},
year = {2026}
}
备注
Accepted to ICML 2026 (Spotlight)