解构掩码自编码器用于无监督域泛化
计算机视觉与模式识别
2024-07-11 v1 人工智能
摘要
域泛化 (DG) 旨在通过利用充足的监督信号来学习对域迁移的不变性。然而，监督数据的稀缺导致无监督域泛化 (UDG) 的兴起——这是一项更重要但更具挑战性的任务，因为模型需在无监督方式下跨越多个域进行训练，并最终在未见域上进行测试。UDG 正快速获得关注，但仍远未得到充分研究。为填补这一研究空白，我们提出了一种 novel learning 框架，用于 UDG，称为解构掩码自编码器 (DisMAE)，旨在发现在没有类别标签的情况下，能够忠实揭示内在特征和表面变化的解构表示。在其核心是对域无关语义特征的蒸馏，这些特征无法被域分类器区分，而同时过滤掉那些不稳定且冗余的域特定变化（例如颜色方案和纹理模式）。值得注意的是，DisMAE 通过语义和轻量级变化编码器 co-train 一种非对称双分支架构，提供了动态的数据操作和表示级别的增强能力。在四个基准数据集上（即 DomainNet、PACS、VLCS、Colored MNIST）进行了大量实验，分别进行 DG 和 UDG 任务，结果表明 DisMAE 可在与 SOTA DG 和 UDG 基线相当的 OOD 性能方面取得好结果，为利用大规模无标签数据提高泛化能力的潜在研究方向提供了启示。
引用
@article{arxiv.2407.07544,
title = {Disentangling Masked Autoencoders for Unsupervised Domain Generalization},
author = {An Zhang and Han Wang and Xiang Wang and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2407.07544},
year = {2024}
}