在再入院预测中语言模型分类器比XGBoost更符合医师的词语敏感性
计算与语言
2022-11-17 v2
摘要
自然语言处理中分类的传统评价指标（如准确率和曲线下面积）无法区分具有不同预测行为的模型，尽管它们的性能度量相似。我们引入敏感性分数（sensitivity score），一种在词汇层面审视模型行为、从而提供其决策逻辑差异洞察的指标。我们使用两个为医院再入院分类训练、性能统计相似的分类器，在测试集的一组代表性词语上评估敏感性分数。我们的实验基于敏感性分数的秩相关，比较临床医生与分类器的决策逻辑。结果表明，在tf-idf嵌入上，语言模型的敏感性分数比xgboost分类器更符合专业人员，这表明xgboost使用了某些伪特征。总体而言，该指标通过量化模型与专业意见的差异，提供了评估模型鲁棒性的新视角。我们的代码可在GitHub获取（https://github.com/nyuolab/Model_Sensitivity）。
引用
@article{arxiv.2211.07047,
title = {Language Model Classifier Aligns Better with Physician Word Sensitivity than XGBoost on Readmission Prediction},
author = {Grace Yang and Ming Cao and Lavender Y. Jiang and Xujin C. Liu and Alexander T. M. Cheung and Hannah Weiss and David Kurland and Kyunghyun Cho and Eric K. Oermann},
journal= {arXiv preprint arXiv:2211.07047},
year = {2022}
}
备注
Extended Abstract presented at Machine Learning for Health (ML4H) symposium 2022, November 28th, 2022, New Orleans, United States & Virtual, http://www.ml4h.cc, 13 pages