更多空值的颜色：面向负责任缺失值插值的评估套件
人工智能
2025-07-22 v6 计算机与社会
机器学习
摘要
数据缺失是持久关注的科学社区的实际挑战。本文提出了Shades-of-Null，一个用于负责任缺失值插值的评估套件。我们的工作在两个方面具有创新性(i)我们建模了超越Rubin经典的完全随机缺失(MCAR)、随机缺失(MAR)和非随机缺失(MNAR)设置的现实且社会相关的缺失情景，包括多机制缺失(当不同缺失模式在数据中共存时)和缺失偏移(当训练和测试的缺失机制在训练和测试之间发生变化时)(ii)我们综合评估插值器，基于插值质量和插值公平性，以及在插值后训练和测试的数据上所使用的模型的预测性能、公平性和稳�定性。我们使用Shades-of-Null进行大规模实证研究，涉及29,736个实验管道，我们发现尽管没有单一的最佳插值方法适用于所有缺失类型，但根据缺失情景、插值器选择以及预测模型的体系结构，会出现关于预测性能、公平性和稳�定性之间的有趣权衡。我们将Shades-of-Null公开，以便为研究人员在合理且社会上有意义的情景下，对缺失值插值方法进行广泛指标的严格评估。
引用
@article{arxiv.2409.07510,
title = {Still More Shades of Null: An Evaluation Suite for Responsible Missing Value Imputation},
author = {Falaah Arif Khan and Denys Herasymuk and Nazar Protsiv and Julia Stoyanovich},
journal= {arXiv preprint arXiv:2409.07510},
year = {2025}
}