通用领域泛化方法的局限性研究
机器学习
2024-05-24 v2 机器学习
摘要
我们研究了多种领域泛化（DG）设定下学习算法的基本性能局限。鉴于先前提出的方法难以可靠地优于经验风险最小化（ERM），我们推导了ERM excess risk的上界以及minimax excess risk的下界。我们的发现表明，在我们考虑的所有DG设定中，都不可能显著优于ERM。我们的结论不仅限于标准的协变量偏移设定，还适用于对域差异方式附加限制的另两种设定。第一种约束所有域在由广泛一类积分概率度量所度量的两两距离上具有非平凡界。第二种替代设定考虑一类受限的DG问题，其中所有域具有相同的底层支撑。我们的分析还建议了如何在不同DG设定中采用不同策略来优化ERM的性能。我们也通过实验探索了由理论分析所提出的假设。
引用
@article{arxiv.2202.00563,
title = {On the Limitations of General Purpose Domain Generalisation Methods},
author = {Henry Gouk and Ondrej Bohdal and Da Li and Timothy Hospedales},
journal= {arXiv preprint arXiv:2202.00563},
year = {2024}
}