分布偏移的细粒度分析
机器学习
2021-11-29 v2 计算机视觉与模式识别
摘要
对分布偏移的鲁棒性对于在真实世界中部署机器学习模型至关重要。尽管有此必要性，在定义导致这些偏移的底层机制并跨多种不同分布偏移评估算法鲁棒性方面，已有工作甚少。为此，我们引入一个支持对各种分布偏移进行细粒度分析的框架。我们通过在合成与真实世界数据集上评估分为五类的 19 种不同方法，对当前最先进方法给出了整体分析。总体而言，我们训练了超过 85K 个模型。我们的实验框架可轻松扩展以纳入新方法、偏移与数据集。我们发现，与先前工作~\citep{Gulrajani20} 不同，相较标准 ERM 基线已取得进展；特别地，预训练与增强（习得或启发式）在许多情形下带来大幅增益。然而，最佳方法在不同数据集与偏移上并不一致。
引用
@article{arxiv.2110.11328,
title = {A Fine-Grained Analysis on Distribution Shift},
author = {Olivia Wiles and Sven Gowal and Florian Stimberg and Sylvestre Alvise-Rebuffi and Ira Ktena and Krishnamurthy Dvijotham and Taylan Cemgil},
journal= {arXiv preprint arXiv:2110.11328},
year = {2021}
}