面向开集域自适应的类别无关聚类探索

无监督域自适应近年来受到显著关注。现有工作大多解决闭集场景，假设源域和目标域共享完全相同的类别。然而在实践中，目标域常包含源域中未出现类别的样本（即未知类）。将域自适应从闭集扩展至此类开集情形并非易事，因为未知类中的目标样本不应与源域对齐。在本文中，我们通过用目标域中的类别无关聚类增强最先进的域自适应技术自集成（Self-Ensembling）来解决此问题。具体而言，我们提出带有类别无关聚类的自集成（SE-CC）——一种新颖的架构，利用特定于目标域的类别无关聚类的额外引导来指导域自适应。这些聚类信息提供了域特定的视觉线索，促进了自集成在闭集和开集场景下的泛化。从技术上讲，首先对所有无标签目标样本执行聚类以获得类别无关聚类，其揭示了目标域特有的底层数据空间结构。一个聚类分支被利用来确保所学表征通过使每个目标样本在聚类上的估计分配分布与其固有聚类分布相匹配，从而保留此种底层结构。此外，SE-CC 通过互信息最大化增强了所学表征。在 Office 和 VisDA 数据集上针对开集和闭集域自适应进行了大量实验，与最先进方法相比报告了优越的结果。