为何领域泛化会失败？基于必要性与充分性的视角
机器学习
2025-02-18 v1 机器学习
摘要
尽管拥有坚实的理论基础，但实证实验表明，现有的领域泛化（DG）算法往往无法持续超越ERM基线。我们认为，这一问题之所以出现，是因为大多数DG研究侧重于在不切实际的假设下（例如拥有充足、多样化甚至无限的领域，或能够访问目标领域知识）为泛化建立理论保证。因此，在领域有限的情况下领域泛化能在多大程度上实现，很大程度上仍未被探索。本文旨在通过从泛化存在与可学习性的必要条件视角进行检验，以填补这一空白。具体而言，我们系统地建立了一组泛化的充分必要条件。我们的分析表明，现有的DG方法主要表现为旨在满足充分条件的正则化机制，却往往忽略了必要条件。然而，在训练领域有限的设置下，充分条件无法被验证。在这种情况下，针对充分条件的正则化旨在最大化泛化的可能性，而针对必要条件的正则化则确保泛化的存在。利用这一分析，我们揭示了现有DG算法的缺陷，表明它们在促进充分条件的同时，无意中违背了必要条件。为了验证我们的理论见解，我们提出了一种实用方法，通过一种新颖的子空间表示对齐策略在维持必要条件的同时促进充分条件。该方法在成熟的DG基准上展示了保留必要条件的优势。
引用
@article{arxiv.2502.10716,
title = {Why Domain Generalization Fail? A View of Necessity and Sufficiency},
author = {Long-Tung Vuong and Vy Vo and Hien Dang and Van-Anh Nguyen and Thanh-Toan Do and Mehrtash Harandi and Trung Le and Dinh Phung},
journal= {arXiv preprint arXiv:2502.10716},
year = {2025}
}