批归一化统计量在解决跨医疗机构灾难性遗忘中的出乎意料的有效性
机器学习
2020-11-17 v1
摘要
由于机构间差异（如患者人口统计特征）和机构内差异（如多种扫描仪类型），模型脆弱性是在医疗环境中部署深度学习模型时的首要顾虑。虽然直接在合并数据集上训练受限于数据隐私，但在原始机构上训练后于后续机构微调模型会导致在原始数据集上性能下降，这一现象称为灾难性遗忘。本文中，我们研究模型精炼与已学知识保持之间的权衡，并进而解决乳腺密度评估中的灾难性遗忘问题。更具体地，我们提出一种简单而有效的方法，利用原始数据集的全局批归一化(BN)统计量来适配弹性权重巩固(EWC)。本研究结果为需要持续学习以扩展领域的临床深度学习模型部署提供了指导。
引用
@article{arxiv.2011.08096,
title = {The unreasonable effectiveness of Batch-Norm statistics in addressing catastrophic forgetting across medical institutions},
author = {Sharut Gupta and Praveer Singh and Ken Chang and Mehak Aggarwal and Nishanth Arun and Liangqiong Qu and Katharina Hoebel and Jay Patel and Mishka Gidwani and Ashwin Vaswani and Daniel L Rubin and Jayashree Kalpathy-Cramer},
journal= {arXiv preprint arXiv:2011.08096},
year = {2020}
}
备注
Accepted as oral presentation in Machine Learning for Health (ML4H) at NeurIPS 2020 - Extended Abstract ; 6 pages and 4 figures