为何不予回答：理解癌症病理报告弃权分类器分类决定的影响因素
机器学习
2022-04-22 v5
摘要
在关键现实应用中安全部署深度学习系统要求模型极少犯错，且仅在可预测情形下出错。本工作中，我们使用一个被调谐至具有 95% 准确率的弃权分类器来解决该问题，随后利用 LIME 识别弃权的影响因素。本质上，我们正在训练模型学习那些可能导致错误分类的病理报告属性，尽管代价是灵敏度降低。我们展示了一种在多任务设置下对来自 NCI SEER 癌症登记处的癌症病理报告在六项关注任务上分类的弃权分类器。对于这些任务，我们通过在对 25--45% 的报告弃权的情况下将分类错误率降低了 2--5 倍。对于分类癌症部位的特定任务，我们能够识别出转移、涉及淋巴结的报告以及多处癌症部位的讨论是许多分类错误的主因，并观察到错误的程度和类型随癌症部位（如乳腺、肺和前列腺）系统性变化。当跨其中三项任务组合时，我们的模型对 50% 的报告分类准确率在六项任务中的三项上大于 95%\edit，且在保留样本上对所有六项任务均大于 85%。此外，我们表明 LIME 比仅用词频度量能更好地确定分类因素。通过将深度弃权分类器与利用 LIME 的特征识别相结合，我们能够识别在对病理报告进行癌症部位分类时导致正确与弃权的概念。LIME 相对于关键词搜索的改进在统计上显著，大概是因为词语在语境中被评估并已被确定为分类的局部决定因素。
引用
@article{arxiv.2009.05094,
title = {Why I'm not Answering: Understanding Determinants of Classification of an Abstaining Classifier for Cancer Pathology Reports},
author = {Sayera Dhaubhadel and Jamaludin Mohd-Yusof and Kumkum Ganguly and Gopinath Chennupati and Sunil Thulasidasan and Nicolas W. Hengartner and Brent J. Mumphrey and Eric B. Durbin and Jennifer A. Doherty and Mireille Lemieux and Noah Schaefferkoetter and Georgia Tourassi and Linda Coyle and Lynne Penberthy and Benjamin H. McMahon and Tanmoy Bhattacharya},
journal= {arXiv preprint arXiv:2009.05094},
year = {2022}
}