在域泛化中寻找能力区域
机器学习
2023-06-22 v3 机器学习
摘要
我们研究一种“学习拒判”框架，以解决域泛化（DG）中的静默失败问题，其中测试分布不同于训练分布。在温和的分布偏移假设下，我们希望每当模型估计的能力预示可信响应时，接受来自新域的分布外（OOD）数据，而非直接拒判 OOD 数据。可信度随后通过一个与分类器性能紧密相关的代理无能分数来预测。我们对现有代理分数作为分类无能分数的表现进行了全面的实验评估，并阐明了拒判率与准确率增益之间的权衡。为与先前工作可比，我们聚焦于标准 DG 基准，并考量在封闭 versus 开放世界设定下通过不同学习表征度量无能的影响。我们的结果表明，递增的无能分数确实能预测准确率的下降，从而在合适的无能阈值下显著提升平均准确率。然而，这些分数尚不足以在所有被测域中实现有利的准确率/拒判权衡。令人惊讶的是，我们的结果还表明，在能力区域（即测试样本引发低无能分数之处）中，为 DG 鲁棒性优化的分类器并未优于朴素的经验风险最小化（ERM）基线。
引用
@article{arxiv.2303.09989,
title = {Finding Competence Regions in Domain Generalization},
author = {Jens Müller and Stefan T. Radev and Robert Schmier and Felix Draxler and Carsten Rother and Ullrich Köthe},
journal= {arXiv preprint arXiv:2303.09989},
year = {2023}
}
备注
The paper has been published at TMLR (see https://openreview.net/forum?id=TSy0vuwQFN)