鞅一致的自监督学习
机器学习
2026-05-13 v1 人工智能
摘要
自监督学习（SSL）经常在信息变化的情况下部署，例如更短的历史记录、缺失特征或部分观测的图像。在这些设置中，来自粗略视图和精细视图的预测应当保持一致：在细化之前，粗略视图的预测应与细化后预期的平均预测相匹配。鞅形式化了这一一致性原则，但标准的 SSL 目标并未强制执行它。与将视图拉近的不变性目标不同，鞅一致性仅约束预期的精细预测，允许预测随着信息的揭示而更新，同时防止系统性漂移。我们引入了一个鞅一致的 SSL 框架来弥合这一差距，该框架具有实用的预测空间和潜在空间变体，以及一个基于随机细化的无偏双样本蒙特卡洛估计器。我们在部分观测机制下，于合成和真实的时序、表格和图像基准上，在半自监督和完全无标签的设置中评估了该方法。在这些实验中，我们的框架提高了部分观测下的鲁棒性和校准性，随着信息的揭示产生更稳定的表示。
引用
@article{arxiv.2605.11846,
title = {Martingale-Consistent Self-Supervised Learning},
author = {Moritz Gögl and Hanwen Xing and Christopher Yau},
journal= {arXiv preprint arXiv:2605.11846},
year = {2026}
}