DermINO：皮肤科基础模型的混合预训练
图像与视频处理
2025-09-26 v2 计算机视觉与模式识别
摘要
皮肤病对全球医疗系统构成重大负担，这些负担由其高患病率（影响最高可达70%的人群）、复杂的诊断过程以及在资源受限地区皮肤科医生短缺等因素驱动。尽管人工智能（AI）工具在皮肤学图像分析方面已显示出前景，但当前模型面临局限——它们往往依赖大型人工标注数据集，仅针对特定狭窄任务构建，难以在实际场景中发挥效果。为克服这些局限，我们提出DermNIO，这是一个通用的皮肤科基础模型。该模型在来自三个来源（公共存储库、网络检索图像和专有数据集）累计432,776张图像上进行训练，DermNIO 包含一种新颖的混合预训练框架，通过半监督学习和知识引导的原型初始化来增强自监督学习范例。这一集成方法不仅加深了对复杂皮肤病条件的理解，还大幅提升了在各种临床任务中的泛化能力。我们在20个数据集上进行评估，DermNIO 在广泛的任务中均一致优于最先进的模型。它在高层次临床应用中表现突出，包括恶性肿瘤分类、疾病严重程度分级、多类别诊断和皮肤学图像描述，同时在低层次任务如皮肤皮损分割方面也实现了最先进的性能。此外，DermNIO 在隐私保护的联邦学习场景以及不同皮肤类型和性别中表现出强大的鲁棒性。在针对23名皮肤科医生的盲法阅读研究中，DermNIO 实现了95.79%的诊断准确率（相当于临床医生的73.66%），而 AI 辅助工具还使临床医生的表现提升了17.21%。
引用
@article{arxiv.2508.12190,
title = {DermINO: Hybrid Pretraining for a Versatile Dermatology Foundation Model},
author = {Jingkai Xu and De Cheng and Xiangqian Zhao and Jungang Yang and Zilong Wang and Xinyang Jiang and Xufang Luo and Lili Chen and Xiaoli Ning and Chengxu Li and Xinzhu Zhou and Xuejiao Song and Ang Li and Qingyue Xia and Zhou Zhuang and Hongfei Ouyang and Ke Xue and Yujun Sheng and Rusong Meng and Feng Xu and Xi Yang and Weimin Ma and Yusheng Lee and Dongsheng Li and Xinbo Gao and Jianming Liang and Lili Qiu and Nannan Wang and Xianbo Zuo and Cui Yong},
journal= {arXiv preprint arXiv:2508.12190},
year = {2025}
}