将黑盒蒸馏为可解释模型以实现高效迁移学习
计算机视觉与模式识别
2023-07-12 v7 机器学习
摘要
构建可泛化的AI模型是医疗领域的主要挑战之一。放射科医生依赖可泛化的异常描述性规则，而神经网络（NN）模型即便在输入分布（如扫描仪类型）轻微偏移时也会表现不佳。将模型微调以将知识从一域迁移到另一域，需要在目标域中有大量标注数据。在本文中，我们开发了一种可解释模型，能以最小计算成本高效微调至未知目标域。我们假设NN的可解释组件近似为域不变。然而，可解释模型通常表现劣于其黑盒（BB）变体。我们始于源域中的BB，并使用人类可理解概念将其蒸馏为浅层可解释模型的\emph{混合}。由于每个可解释模型覆盖数据子集，可解释模型的混合取得了与BB相当的性能。此外，我们使用半监督学习（SSL）的伪标注技术学习目标域中的概念分类器，随后在目标域中微调可解释模型。我们使用真实大规模胸部X光（CXR）分类数据集评估了我们的模型。代码见：\url{https://github.com/batmanlab/MICCAI-2023-Route-interpret-repeat-CXRs}。
引用
@article{arxiv.2305.17303,
title = {Distilling BlackBox to Interpretable models for Efficient Transfer Learning},
author = {Shantanu Ghosh and Ke Yu and Kayhan Batmanghelich},
journal= {arXiv preprint arXiv:2305.17303},
year = {2023}
}
备注
26th International Conference on Medical Image Computing and Computer Assisted Intervention, MICCAI 2023, Early accept