Wild-Tab：面向表格回归的分布外泛化基准
机器学习
2023-12-05 v1
摘要
分布外（Out-of-Distribution, OOD）泛化是构建能够处理偏离训练集分布数据的鲁棒机器学习模型的基石，也是深度学习中的一个持续挑战。尽管在计算机视觉和自然语言处理领域已取得显著进展，但其在表格数据（广泛应用于许多工业应用）中的探索仍处于起步阶段。为弥补这一差距，我们提出 Wild-Tab，一个专为表格回归任务中的 OOD 泛化设计的大规模基准测试。该基准包含来自天气预测和功耗估计等领域的 3 个工业数据集，为在真实条件下评估 OOD 性能提供了具有挑战性的测试平台。我们在 Wild-Tab 上评估了 10 种不同的 OOD 泛化方法，进行了大量实验并揭示了细致的见解。我们观察到，这些方法中许多往往难以在未见数据上保持高性能，与分布内性能相比 OOD 性能出现显著下降。与此同时，经验风险最小化（Empirical Risk Minimization, ERM）尽管简单，在所有评估中均表现出鲁棒性能，可与最先进方法的结果相媲美。展望未来，我们希望 Wild-Tab 的发布能促进 OOD 泛化的进一步研究，并助力机器学习模型在各种需要处理分布偏移的真实场景中的部署。
引用
@article{arxiv.2312.01792,
title = {Wild-Tab: A Benchmark For Out-Of-Distribution Generalization In Tabular Regression},
author = {Sergey Kolesnikov},
journal= {arXiv preprint arXiv:2312.01792},
year = {2023}
}