面向域泛化的域不变特征探索
机器学习
2022-12-27 v2 计算机视觉与模式识别
摘要
深度学习在过去几年取得了巨大成功。然而，在非 IID 情形下深度学习的性能可能受阻。域泛化（DG）使模型能够泛化到未见过的测试分布，即学习域不变表示。本文中，我们认为域不变特征应同时源于内部与互协两个方面。内部不变性指特征可在单一域内学习，且捕获数据的内在语义，即域内的属性，对其他域不可知。互协不变性指特征可跨多个域（跨域）学习，且包含公共信息，即相对于其他域可迁移的特征。我们随后提出 DIFEX 用于域不变特征探索（Domain-Invariant Feature EXploration）。DIFEX 采用知识蒸馏框架捕获高级傅里叶相位作为内部不变特征，并学习跨域相关对齐作为互协不变特征。我们进一步设计了一种探索损失以增加特征多样性从而获得更好的泛化。在时序与视觉基准上的大量实验表明，所提出的 DIFEX 达到了 SOTA 性能。
引用
@article{arxiv.2207.12020,
title = {Domain-invariant Feature Exploration for Domain Generalization},
author = {Wang Lu and Jindong Wang and Haoliang Li and Yiqiang Chen and Xing Xie},
journal= {arXiv preprint arXiv:2207.12020},
year = {2022}
}
备注
Accepted by Transactions on Machine Learning Research (TMLR) 2022; 20 pages; code: https://github.com/jindongwang/transferlearning/tree/master/code/DeepDG