面向有限不平衡数据的深度学习预文本表征迁移：基于CT的COVID-19检测应用
图像与视频处理
2023-01-24 v1 计算机视觉与模式识别
机器学习
摘要
为疾病检测标注医学图像通常繁琐且昂贵。此外，给定任务的可用训练样本一般稀少且不平衡。这些条件不利于学习有效的深度神经模型。因此，将自然图像上训练的神经网络“迁移”到医学图像领域是常见做法。然而，由于自然与医学图像数据间存在较大域间隙，该范式性能不足。为此，我们提出一种新颖的预文本表征迁移（PRT）概念。与替换分类层后微调源模型的常规迁移学习不同，PRT 保留原始分类层，并通过无监督预文本任务更新表征层。该任务使用（原始的、非合成的）医学图像执行，不利用任何标注。这使得利用大量训练数据实现表征迁移成为可能。这种高保真表征迁移使我们能将所得模型用作更有效的特征提取器。此外，我们也可随后对该模型执行传统的迁移学习。当我们将该模型用作特征提取器时，设计了一种基于协作表示的分类层。我们将该层输出与在我们预文本迁移模型上执行的传统迁移学习所诱导模型的预测相融合。我们所提技术对有限且不平衡数据分类问题的效用，通过针对三种大规模模型、测试五种不同类不平衡比的基于 CT 的 COVID-19 检测的五折广泛评估得以证明。结果表明，相较常规迁移学习，所提方法具有一致的增益。
引用
@article{arxiv.2301.08888,
title = {Pre-text Representation Transfer for Deep Learning with Limited Imbalanced Data : Application to CT-based COVID-19 Detection},
author = {Fouzia Altaf and Syed M. S. Islam and Naeem K. Janjua and Naveed Akhtar},
journal= {arXiv preprint arXiv:2301.08888},
year = {2023}
}
备注
Best paper at IVCNZ