UniBrain：基于层次知识增强预训练的通用脑MRI诊断框架
计算机视觉与模式识别
2023-09-14 v1 机器学习
摘要
磁共振成像（MRI）在脑部疾病诊断中发挥着关键作用，已有大量计算机辅助人工智能方法被提出。然而，早期的探索通常聚焦于单项研究中有限类型的脑部疾病，并在小规模数据上训练模型，导致了泛化瓶颈。为构建更有效且可扩展的范式，我们提出了一种面向通用脑MRI诊断的层次知识增强预训练框架，称为UniBrain。具体而言，UniBrain利用了来自常规诊断的24,770对影像-报告大规模数据集。与以往针对单一视觉或文本特征的预训练技术，或对视觉与语言信息进行粗暴对齐的方法不同，我们利用报告信息在不同粒度上的独特特性构建层次对齐机制，从而提升了特征学习的效率。我们的UniBrain在三个存在严重类别不平衡的真实世界数据集以及公开的BraTS2019数据集上进行了验证。它不仅以显著优势持续超越所有最先进的诊断方法，并提供了更优的定位性能，而且在某些疾病类型上与放射科专家的表现相当。
引用
@article{arxiv.2309.06828,
title = {UniBrain: Universal Brain MRI Diagnosis with Hierarchical Knowledge-enhanced Pre-training},
author = {Jiayu Lei and Lisong Dai and Haoyun Jiang and Chaoyi Wu and Xiaoman Zhang and Yao Zhang and Jiangchao Yao and Weidi Xie and Yanyong Zhang and Yuehua Li and Ya Zhang and Yanfeng Wang},
journal= {arXiv preprint arXiv:2309.06828},
year = {2023}
}