使用TableShift对表格数据中的分布偏移进行基准测试
机器学习
2024-02-12 v3
摘要
对分布偏移的鲁棒性已成为文本和图像模型从研究主题过渡到实际部署时日益关注的问题。然而，尽管表格数据在实际世界中广泛使用，并且表格数据使用的模型与文本和图像不同，但表格机器学习任务中分布偏移的高质量基准仍然缺乏。因此，表格模型对分布偏移的鲁棒性知之甚少。为了解决这个问题，我们引入了TableShift，一个表格数据的分布偏移基准。TableShift总共包含15个二分类任务，每个任务都有一个相关的偏移，并包括多样化的数据源、预测目标和分布偏移。该基准涵盖金融、教育、公共政策、医疗保健和公民参与等领域，并且只需几行Python代码即可通过TableShift API访问。我们进行了一项大规模研究，比较了几种最先进的表格数据模型以及鲁棒学习和领域泛化方法在基准任务上的表现。我们的研究表明：（1）分布内（ID）和分布外（OOD）准确率之间存在线性趋势；（2）领域鲁棒性方法可以减少偏移差距，但代价是降低ID准确率；（3）偏移差距（ID和OOD性能之间的差异）与标签分布偏移之间存在强关系。基准数据、Python包、模型实现以及关于TableShift的更多信息可在https://github.com/mlfoundations/tableshift 和 https://tableshift.org 获取。
引用
@article{arxiv.2312.07577,
title = {Benchmarking Distribution Shift in Tabular Data with TableShift},
author = {Josh Gardner and Zoran Popovic and Ludwig Schmidt},
journal= {arXiv preprint arXiv:2312.07577},
year = {2024}
}
备注
NeurIPS 2023 Dataset and Benchmarks Track accepted version