HMOE：基于超网络的混合专家域泛化方法
机器学习
2023-11-15 v3 人工智能
计算机视觉与模式识别
摘要
由于域偏移，机器学习系统通常难以很好地泛化到与训练数据不同新域，而这正是域泛化（DG）旨在解决的问题。尽管已提出多种 DG 方法，其中大多数在可解释性上不足且需要域标签，而域标签在许多真实场景中不可得。本文提出一种新颖的 DG 方法，称为 HMOE：基于超网络的混合专家（MoE），其不依赖域标签且更具可解释性。MoE 被证明能有效识别数据中的异质模式。对于 DG 问题，异质性恰由域偏移引起。HMOE 采用以向量为输入来生成专家权重的超网络，这促进了专家间的知识共享，并能在低维向量空间中探索其相似性。我们在公平评估框架 DomainBed 下将 HMOE 与其他 DG 方法进行基准比较。大量实验表明，HMOE 能有效将混合域数据分离为 distinct 簇，这些簇出人意料地比原始域标签更符合人类直觉。利用自学习域信息，HMOE 在大多数数据集上取得最先进结果，并在所有数据集的平均精度上显著超越其他 DG 方法。
引用
@article{arxiv.2211.08253,
title = {HMOE: Hypernetwork-based Mixture of Experts for Domain Generalization},
author = {Jingang Qu and Thibault Faney and Ze Wang and Patrick Gallinari and Soleiman Yousef and Jean-Charles de Hemptinne},
journal= {arXiv preprint arXiv:2211.08253},
year = {2023}
}