用于多源域泛化的门控域单元
机器学习
2023-05-17 v2
摘要
当测试时数据集与训练时数据集不同时，会发生分布偏移(DS)现象，由于缺乏关于测试时数据分布的知识，这会显著损害机器学习模型在实际环境中的性能。为解决此问题，我们假定真实世界分布由跨不同域的潜在不变基本分布(I.E.D)组成。该假设意味着解空间中存在一种不变结构，能够将知识迁移至未见域。为利用此性质进行域泛化，我们引入一种由门控域单元(GDUs)组成的模块化神经网络层，其为每个潜在基本分布学习一种表示。在推理时，可通过将新观测与每个基本分布的表示进行比较，创建学习机器的加权集成。我们的灵活框架也适用于不存在显式域信息的场景。在图像、文本和图数据上的大量实验表明，在训练外目标域上性能得到一致提升。这些发现支持了 I.E.D 假设的实际性以及 GDU 用于域泛化的有效性。
引用
@article{arxiv.2206.12444,
title = {Gated Domain Units for Multi-source Domain Generalization},
author = {Simon Föll and Alina Dubatovka and Eugen Ernst and Siu Lun Chau and Martin Maritsch and Patrik Okanovic and Gudrun Thäter and Joachim M. Buhmann and Felix Wortmann and Krikamol Muandet},
journal= {arXiv preprint arXiv:2206.12444},
year = {2023}
}