最小语义充分性结合无监督域泛化
计算机视觉与模式识别
2025-09-25 v2
摘要
深度学习的泛化能力已在监督设置下得到了广泛研究，但在无监督场景下仍较少被探索。最近，无监督域泛化（UDG）任务被提出，以增强使用流行无监督学习技术（如自监督学习，SSL）训练的模型的泛化能力。UDG 面临着在没有类别标签的情况下区分语义与变化的挑战。尽管最近的一些方法使用了域标签来解决这一问题，但在真实世界场景中，此类域标签通常不可用。在本文中，我们通过将 UDG 形式化为学习最小充分语义表示的任务来解决这些限制：该表示 (i) 保留了跨增强视图共享的所有语义信息（充分性），并且 (ii) 最大限度地移除了与语义无关的信息（最小性）。我们从信息论的角度为这些目标提供了理论基础，证明优化表示以实现充分性和最小性可直接降低分布外风险。在实践中，我们通过最小充分 UDG（MS-UDG）来实现这一优化，这是一个可学习的模型，它集成了：(a) 基于 InfoNCE 的目标以实现充分性；(b) 两个互补组件以促进最小性：一种新颖的语义-变化解耦损失和一种基于重建的机制，用于捕获充分的变化。在实验上，MS-UDG 在流行的无监督域泛化基准上创造了新的 SOTA，在表示学习期间不使用类别或域标签的情况下，始终优于现有的 SSL 和 UDG 方法。
引用
@article{arxiv.2509.15791,
title = {Minimal Semantic Sufficiency Meets Unsupervised Domain Generalization},
author = {Tan Pan and Kaiyu Guo and Dongli Xu and Zhaorui Tan and Chen Jiang and Deshu Chen and Xin Guo and Brian C. Lovell and Limei Han and Yuan Cheng and Mahsa Baktashmotlagh},
journal= {arXiv preprint arXiv:2509.15791},
year = {2025}
}
备注
Accepted by NeurIPS 2025