BREEDS：子群体偏移基准
计算机视觉与模式识别
2020-08-12 v1 机器学习
机器学习
摘要
我们开发了一种评估模型对子群体偏移鲁棒性的方法——具体而言，即其泛化到训练期间未观察到的新颖数据子群体的能力。我们的方法利用现有数据集底层的类别结构来控制构成训练与测试分布的数据子群体。这使得我们能够在现有大规模数据集内合成来源可被精确控制与刻画的真实分布偏移。将该方法应用于 ImageNet 数据集，我们创建了一套粒度各异的子群体偏移基准。随后，我们通过获取相应的人类基线来验证这些偏移是可处理的。最后，我们利用这些基准衡量标准模型架构的敏感性以及现成训练时鲁棒性干预措施的有效性。代码与数据见 https://github.com/MadryLab/BREEDS-Benchmarks 。
引用
@article{arxiv.2008.04859,
title = {BREEDS: Benchmarks for Subpopulation Shift},
author = {Shibani Santurkar and Dimitris Tsipras and Aleksander Madry},
journal= {arXiv preprint arXiv:2008.04859},
year = {2020}
}