INSURE：一种受信息论启发的用于域泛化的解耦与纯化模型
计算机视觉与模式识别
2023-09-11 v1
摘要
域泛化（Domain Generalization, DG）旨在仅通过在多个已观测源域上训练，学习一个在未见目标域上可泛化的模型。尽管多种 DG 方法聚焦于提取域不变特征，但域特定的类相关特征已引起关注，并被论证有利于向未见目标域的泛化。为考虑类相关的域特定信息，本文提出一种受信息论启发的 disentanglement 与 purification 模型（INSURE），以显式解耦潜在特征，获得充分且紧凑（必要）的类相关特征，用于向未见域的泛化。具体而言，我们首先提出一个受信息论启发的损失函数，以确保解耦出的类相关特征包含充分的类标签信息，而另一解耦出的辅助特征具有充分的域信息。我们进一步提出一个成对纯化损失函数，使辅助特征丢弃所有类相关信息，从而类相关特征将包含充分且紧凑（必要）的类相关信息。此外，不同于使用多个编码器，我们提出使用一个可学习的二值掩码作为解耦器，使解耦更高效，并令解耦特征彼此互补。我们在四个广泛使用的 DG 基准数据集（包括 PACS、OfficeHome、TerraIncognita 和 DomainNet）上进行了大量实验。所提出的 INSURE 优于当前最优（state-of-the-art, SOTA）方法。我们还通过实证表明，域特定的类相关特征有益于域泛化。
引用
@article{arxiv.2309.04063,
title = {INSURE: An Information Theory Inspired Disentanglement and Purification Model for Domain Generalization},
author = {Xi Yu and Huan-Hsin Tseng and Shinjae Yoo and Haibin Ling and Yuewei Lin},
journal= {arXiv preprint arXiv:2309.04063},
year = {2023}
}
备注
10 pages, 4 figures