扩展 WILDS 基准以支持无监督自适应
机器学习
2022-04-26 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
部署于真实环境中的机器学习系统通常在源分布上训练，但在不同的目标分布上部署。无标签数据可作为缓解这些分布偏移的有力杠杆，因为它比有标签数据更易获取，且常可来自源分布之外的分布。然而，现有带无标签数据的分布偏移基准未能反映真实应用中出现的广泛场景。本工作中，我们提出 WILDS 2.0 更新，将分布偏移 WILDS 基准中的 10 个数据集里的 8 个扩展为包含部署时可切实获取的指选无标签数据。这些数据集涵盖广泛应用（从组织学到野生动物保护）、任务（分类、回归与检测）以及模态（照片、卫星图像、显微镜切片、文本、分子图）。该更新通过使用相同的有标签训练、验证与测试集以及评估指标，与原始 WILDS 基准保持一致。在这些数据集上，我们系统基准测试了利用无标签数据的最先进方法，包括域不变、自训练与自监督方法，并表明它们在 WILDS 上的成功有限。为促进方法开发与评估，我们提供了一个自动化数据加载并包含本文所用所有模型架构与方法的开源包。代码与排行榜见 https://wilds.stanford.edu。
引用
@article{arxiv.2112.05090,
title = {Extending the WILDS Benchmark for Unsupervised Adaptation},
author = {Shiori Sagawa and Pang Wei Koh and Tony Lee and Irena Gao and Sang Michael Xie and Kendrick Shen and Ananya Kumar and Weihua Hu and Michihiro Yasunaga and Henrik Marklund and Sara Beery and Etienne David and Ian Stavness and Wei Guo and Jure Leskovec and Kate Saenko and Tatsunori Hashimoto and Sergey Levine and Chelsea Finn and Percy Liang},
journal= {arXiv preprint arXiv:2112.05090},
year = {2022}
}