用于域泛化的不变信息瓶颈
机器学习
2022-03-22 v6 机器学习
摘要
不变风险最小化（IRM）近来已成为域泛化的一种有前景的替代方案。然而，该损失函数对非线性分类器难以优化，且当存在伪不变特征与几何偏斜时，原始优化目标可能失效。受 IRM 启发，本文提出一种用于域泛化的新形式，称为不变信息瓶颈（IIB）。IIB 旨在最小化非线性分类器的不变风险，同时减轻伪不变特征与几何偏斜的影响。具体而言，我们首先给出一种通过互信息进行不变因果预测的新形式。然后我们采用互信息的变分形式来为非线性分类器开发可处理的损失函数。为克服 IRM 的失效模式，我们提出最小化输入与相应表示之间的互信息。IIB 在合成数据集上显著优于 IRM，其中出现了伪不变特征与几何偏斜，表明所提形式在克服 IRM 失效模式上的有效性。此外，在 DomainBed 上的实验表明，IIB 在 7 个真实数据集上平均超越 个基线 0.9%。
引用
@article{arxiv.2106.06333,
title = {Invariant Information Bottleneck for Domain Generalization},
author = {Bo Li and Yifei Shen and Yezhen Wang and Wenzhen Zhu and Colorado J. Reed and Jun Zhang and Dongsheng Li and Kurt Keutzer and Han Zhao},
journal= {arXiv preprint arXiv:2106.06333},
year = {2022}
}
备注
AAAI 2022