面向不平衡疾病分级的不确定性感知多专家知识蒸馏
计算机视觉与模式识别
2025-05-02 v1 机器学习
摘要
自动疾病图像分级是人工智能在医疗保健领域的一项重要应用，能够实现更快、更准确的患者评估。然而，数据不平衡加剧了领域偏移，给模型引入了偏差，给临床应用中的部署带来了困难。为了解决这个问题，我们提出了一种新颖的不确定性感知多专家知识蒸馏（Uncertainty-aware Multi-experts Knowledge Distillation, UMKD）框架，将知识从多个专家模型转移到单个学生模型。具体而言，为了提取具有判别力的特征，UMKD 在特征空间中通过浅层且紧凑的特征对齐，解耦了任务无关特征和任务特定特征。在输出空间中，不确定性感知解耦蒸馏（UDD）机制根据专家模型的不确定性动态调整知识转移权重，确保稳健且可靠的蒸馏。此外，UMKD 还解决了模型架构异质性以及源域与目标域之间分布差异的问题，而这些问题是以往 KD 方法未能充分解决的。在组织学前列腺分级（SICAPv2）和眼底图像分级（APTOS）上的大量实验表明，UMKD 在源域不平衡和目标域不平衡场景下均取得了新的 SOTA，为现实世界中的疾病图像分级提供了稳健且实用的解决方案。
引用
@article{arxiv.2505.00592,
title = {Uncertainty-Aware Multi-Expert Knowledge Distillation for Imbalanced Disease Grading},
author = {Shuo Tong and Shangde Gao and Ke Liu and Zihang Huang and Hongxia Xu and Haochao Ying and Jian Wu},
journal= {arXiv preprint arXiv:2505.00592},
year = {2025}
}