SelfReg：用于域泛化的自监督对比正则化
计算机视觉与模式识别
2021-04-21 v1 人工智能
摘要
一般而言，深度学习的实验环境假设训练与测试数据集从同一分布中采样。然而，在现实情形中，两个数据集之间可能出现分布差异，即域偏移，这成为阻碍模型泛化性能的主要因素。解决该问题的研究领域称为域泛化，它通过显式或隐式提取域不变特征来缓解域偏移问题。在近期研究中，基于对比学习的域泛化方法被提出并取得了高性能。这些方法需要对负数据对进行采样。然而，对比学习的性能从根本上依赖于负数据对的质量与数量。为解决此问题，我们提出了一种基于对比学习的域泛化新正则化方法，即自监督对比正则化（SelfReg）。所提方法仅使用正数据对，从而解决了由负对采样引起的各种问题。此外，我们提出了类特定域扰动层（CDPL），使得即便仅使用正数据对也能有效应用 mixup 增强。实验结果表明，SelfReg 所采用的技术以兼容的方式对性能作出了贡献。在近期基准 DomainBed 上，所提方法展现出与常规 SOTA 替代方法相当的性能。代码见 https://github.com/dnap512/SelfReg。
引用
@article{arxiv.2104.09841,
title = {SelfReg: Self-supervised Contrastive Regularization for Domain Generalization},
author = {Daehee Kim and Seunghyun Park and Jinkyu Kim and Jaekoo Lee},
journal= {arXiv preprint arXiv:2104.09841},
year = {2021}
}
备注
14 pages