自监督学习的分布外推理
机器学习
2025-05-23 v1
摘要
本文聚焦于自监督学习（SSL）的分布外（out-of-distribution, OOD）推理。通过分析 SSL 训练阶段的 mini-batch 构建过程，首先给出一种对 SSL 具有 OOD 推理的合理解释。随后，从数据生成和因果推断的视角分析，得出结论：SSL 在训练过程中学习了虚假关联，这会导致 OOD 推理的降低。为解决此问题，我们提出一种基于结构因果模型的后干预分布（post-intervention distribution, PID）。PID 提供了虚假变量与标签变量相互独立的情景。此外，我们展示如果 SSL 训练中的每个 mini-batch 满足 PID，则得到的 SSL 模型可实现最优的极端 OOD 性能。这激励我们开发一种通过学习潜在变量模型来强制执行 PID 约束的 batch 采样策略。通过理论分析，我们展示了潜在变量模型的可识别性，并验证了所提采样策略的有效性。在 various downstream OOD 任务上的实验表明，所提采样策略有效。
引用
@article{arxiv.2505.16675,
title = {On the Out-of-Distribution Generalization of Self-Supervised Learning},
author = {Wenwen Qiang and Jingyao Wang and Zeen Song and Jiangmeng Li and Changwen Zheng},
journal= {arXiv preprint arXiv:2505.16675},
year = {2025}
}