超越实例一致性：探究自监督学习中的视角多样性
计算机视觉与模式识别
2025-09-16 v1 机器学习
摘要
自监督学习（SSL）通常依赖实例一致性范例，假设同一图像的不同视图可视为正负配对。然而，这一假设在非典型数据上会失效，因为不同视图可能包含不同的对象或语义信息。本文探讨了在不保证实例一致性的情况下SSL的有效性。通过大量消融实验，我们展示，即使正负配对缺乏严格的实例一致性，SSL仍能学习有意义的表示。进一步的分析表明，通过强制零重叠或使用更小的裁剪尺度来增加视角多样性，可提升分类和稠密预测任务中的下游性能。然而，过度的多样性会降低效果，表明存在一种最佳范围。为量化此现象，我们采用地球搬移距离（EMD）作为估计器来衡量视图之间的互信息，发现适度的EMD值与改进的SSL学习相关，这为未来的SSL框架设计提供了见解。我们在多种设置下验证了这些发现，突出了其鲁棒性和在多样数据源上的适用性。
引用
@article{arxiv.2509.11344,
title = {Beyond Instance Consistency: Investigating View Diversity in Self-supervised Learning},
author = {Huaiyuan Qin and Muli Yang and Siyuan Hu and Peng Hu and Yu Zhang and Chen Gong and Hongyuan Zhu},
journal= {arXiv preprint arXiv:2509.11344},
year = {2025}
}
备注
Published in TMLR. Review: https://openreview.net/forum?id=urWCU3YMA0