基于预训练模型互信息正则化的域泛化
机器学习
2022-07-25 v2 计算机视觉与模式识别
摘要
域泛化(DG)旨在仅利用有限源域学习一个可泛化至未见目标域的模型。先前 DG 尝试因训练与测试域间显著域偏移,无法仅从源域学习域不变表示。相反,我们利用互信息与神谕模型(一个泛化至任意可能域的模型)重新表述 DG 目标。我们通过以预训练模型近似神谕模型推导出一个可处理的变分下界,称为神谕互信息正则化(MIRO)。我们充分的实验表明 MIRO 显著提升了分布外性能。此外,我们的缩放实验显示预训练模型规模越大,MIRO 性能提升越大。源代码见 https://github.com/kakaobrain/miro。
引用
@article{arxiv.2203.10789,
title = {Domain Generalization by Mutual-Information Regularization with Pre-trained Models},
author = {Junbum Cha and Kyungjae Lee and Sungrae Park and Sanghyuk Chun},
journal= {arXiv preprint arXiv:2203.10789},
year = {2022}
}
备注
ECCV 2022 camera-ready