医疗数据集随时间变化的模型评估
机器学习
2022-11-15 v1 应用统计
摘要
部署于医疗系统中的机器学习模型面临来自持续演化环境的数据。然而，提出此类模型的研究者通常以时间不可知的方式评估它们，其训练与测试划分在整个研究期内对患者进行采样。我们引入医疗数据集随时间评估（EMDOT）框架及 Python 包，用以评估某模型类随时间的性能。在五个医疗数据集与多种模型上，我们比较两种训练策略：（1）使用所有历史数据，（2）使用最近数据的窗口。我们记录了随时间变化的性能，并识别出这些突变的可能解释。
引用
@article{arxiv.2211.07165,
title = {Model Evaluation in Medical Datasets Over Time},
author = {Helen Zhou and Yuwen Chen and Zachary C. Lipton},
journal= {arXiv preprint arXiv:2211.07165},
year = {2022}
}
备注
Extended Abstract presented at Machine Learning for Health (ML4H) symposium 2022, November 28th, 2022, New Orleans, United States & Virtual, http://www.ml4h.cc, 6 pages