通过微调 ImageNet 模型改进组织病理学图像的特征提取
图像与视频处理
2022-01-04 v1 计算机视觉与模式识别
摘要
由于缺乏标注的病理图像，迁移学习一直是数字病理学领域的主导方法。基于 ImageNet 数据库预训练的神经网络常被用于提取“现成”特征，在预测组织类型、分子特征及临床结局等方面取得了巨大成功。我们假设，使用组织病理学图像微调预训练模型可进一步改进特征提取及下游预测性能。我们使用 100,000 张结直肠癌（CRC）标注 HE 图像块，通过两步法微调预训练的 Xception 模型。将从微调 Xception（FTX2048）模型与 ImageNet 预训练（IMGNET2048）模型提取的特征进行比较：（1）对 CRC 的 HE 图像进行组织分类（与微调所用图像类型相同）；（2）预测肺腺癌（LUAD）中免疫相关基因表达；（3）预测 LUAD 基因突变。采用五折交叉验证评估模型性能。相较于直接来自基于 ImageNet 数据库的 Xception 的现成特征，微调 FTX2048 提取的特征在预测 CRC 组织类型上准确率显著更高，尤其将基质预测准确率从 87% 提升至 94%。类似地，FTX2048 的特征提升了对 LUAD 免疫相关基因转录组表达的预测；对与图像特征显著相关的基因，多数基因的预测因微调模型特征而改善。此外，FTX2048 特征对 LUAD 中 9 个最常见突变基因里的 5 个提升了突变预测。
引用
@article{arxiv.2201.00636,
title = {Improving Feature Extraction from Histopathological Images Through A Fine-tuning ImageNet Model},
author = {Xingyu Li and Min Cen and Jinfeng Xu and Hong Zhang and Xu Steven Xu},
journal= {arXiv preprint arXiv:2201.00636},
year = {2022}
}