在真实场景中改进基线
机器学习
2022-01-03 v1 计算机视觉与模式识别
摘要
我们分享了使用最近发布的 WILDS 基准的经验，该基准包含十个致力于开发对域偏移鲁棒的模型与训练策略的数据集。若干实验得出了一些我们认为对任何未来 WILDS 工作具有普遍意义的批判性观察。我们的研究聚焦于两个数据集：iWildCam 与 FMoW。我们表明：（1）对每个评估指标进行独立的交叉验证对两个数据集都至关重要；（2）验证与测试性能之间的弱相关性可能使 iWildCam 的模型开发困难；（3）训练超参数的微小改动以较大幅度改进了基线（主要在 FMoW 上）；（4）某些域与某些目标标签之间存在强相关性（主要在 iWildCam 上）。据我们所知，尽管这些观察显然重要，此前关于这些数据集的工作均未报告过。我们的代码是公开的。
引用
@article{arxiv.2112.15550,
title = {Improving Baselines in the Wild},
author = {Kazuki Irie and Imanol Schlag and Róbert Csordás and Jürgen Schmidhuber},
journal= {arXiv preprint arXiv:2112.15550},
year = {2022}
}
备注
Presented at NeurIPS 2021 Workshop on Distribution Shifts, https://openreview.net/forum?id=9vxOrkNTs1x