WILDS：一个野外部署分布偏移基准
机器学习
2021-07-19 v3
摘要
分布偏移——即训练分布与测试分布不同——会大幅降低部署在野外部署中的机器学习（ML）系统的准确率。尽管在实际部署中无处不在，这些分布偏移在当今 ML 社区广泛使用的数据集中代表性不足。为弥补这一缺口，我们提出 WILDS，一个包含 10 个数据集的精选基准，反映了现实应用中自然产生的多种多样的分布偏移，例如用于肿瘤识别的跨医院偏移、用于野生动物监测的跨相机陷阱偏移，以及卫星影像与贫困制图中跨时间与地点的偏移。在每个数据集上，我们展示了标准训练产生的分布外性能明显低于分布内性能。即使使用现有应对分布偏移的方法训练的模型，这一差距依然存在，凸显了对更鲁棒于实际中出现的分布偏移的训练新方法的迫切需求。为促进方法开发，我们提供了一个开源包，可自动化数据集加载、包含默认模型架构与超参数，并标准化评估。代码与排行榜见 https://wilds.stanford.edu。
引用
@article{arxiv.2012.07421,
title = {WILDS: A Benchmark of in-the-Wild Distribution Shifts},
author = {Pang Wei Koh and Shiori Sagawa and Henrik Marklund and Sang Michael Xie and Marvin Zhang and Akshay Balsubramani and Weihua Hu and Michihiro Yasunaga and Richard Lanas Phillips and Irena Gao and Tony Lee and Etienne David and Ian Stavness and Wei Guo and Berton A. Earnshaw and Imran S. Haque and Sara Beery and Jure Leskovec and Anshul Kundaje and Emma Pierson and Sergey Levine and Chelsea Finn and Percy Liang},
journal= {arXiv preprint arXiv:2012.07421},
year = {2021}
}