UniChest：面向多源胸部 X 光片分类的先征服后划分预训练
计算机视觉与模式识别
2024-03-25 v2 机器学习
摘要
利用多模态信息来提升训练效率和效果的视觉语言预训练（VLP），在自然领域的视觉识别中取得了巨大成功，并在胸部 X 光片（CXRs）的医学影像诊断中展现出潜力。然而，当前的工作主要关注于单一 CXR 数据集的探索，这限制了这一强大范式在更大规模的多源 CXR 数据集混合体上的潜力。我们发现，尽管混合来自不同来源的样本具有提升模型泛化能力的优势，但由于来源间存在的异质性，要维持每个来源任务的一致优越性仍然具有挑战性。为了解决这一困境，我们设计了一个名为 UniChest 的征服与划分预训练框架，旨在充分利用多个 CXR 来源的协作优势，同时减少来源异质性的负面影响。具体来说，UniChest 中的“征服”阶段鼓励模型充分捕获多源通用模式，而“划分”阶段则帮助将个性化模式挤压到不同的小专家（查询网络）中。我们在多个基准数据集上进行了全面的实验，例如 ChestX-ray14、CheXpert、Vindr-CXR、Shenzhen、Open-I 和 SIIM-ACR Pneumothorax，验证了 UniChest 在一系列基线方法上的有效性，并在 https://github.com/Elfenreigen/UniChest 上发布了我们的代码和预训练模型。
引用
@article{arxiv.2312.11038,
title = {UniChest: Conquer-and-Divide Pre-training for Multi-Source Chest X-Ray Classification},
author = {Tianjie Dai and Ruipeng Zhang and Feng Hong and Jiangchao Yao and Ya Zhang and Yanfeng Wang},
journal= {arXiv preprint arXiv:2312.11038},
year = {2024}
}
备注
Accepted at IEEE Transactions on Medical Imaging