是时候拥抱基于自然语言处理（NLP）的数字病理学：基准测试 NLP 与基于卷积神经网络的深度学习流水线
摘要
基于 NLP 的计算机视觉模型，尤其是 vision transformers，已在许多图像任务中表现出优于 CNN 模型的性能。然而，大多数数字病理学人工智能模型基于 CNN 架构，可能由于缺乏针对病理图像的 NLP 模型相关数据。在本研究中，我们开发了数字病理学流水线，以基准测试五种最新提出的 NLP 模型（vision transformer (ViT)、Swin Transformer、MobileViT、CMT 和 Sequencer2D）和四种流行的 CNN 模型（ResNet18、ResNet50、MobileNetV2 和 EfficientNet）来预测结直肠癌中的生物标志物（微卫星不稳定性、CpG 岛甲基化表型以及 BRAF 突变）。来自 Molecular and Cellular Oncology 和 The Cancer Genome Atlas 的苏木精-伊红染色全切片图像分别用作训练集和外部验证集。跨研究外部验证显示，基于 NLP 的模型在生物标志物预测任务中显著优于基于 CNN 的模型，将总体预测和精度分别提升约 10% 和 26%。值得注意的是，与当前文献中使用大型训练集的现有模型相比，我们的 NLP 模型使用相对较小的训练集即对所有三种生物标志物实现了最先进的预测，表明大型训练集并非 NLP 模型或 transformers 的先决条件，且 NLP 可能更适用于通常收集小型训练集的临床研究。Sequencer2D 的优越性能表明，在数字病理学领域值得对 transformer 和双向长短期记忆（bidirectional long short-term memory）架构开展进一步研究与创新。NLP 模型可以取代经典 CNN 架构，成为数字病理学领域新的主力骨干网络。
引用
@article{arxiv.2302.10406,
title = {Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines},
author = {Min Cen and Xingyu Li and Bangwei Guo and Jitendra Jonnagaddala and Hong Zhang and Xu Steven Xu},
journal= {arXiv preprint arXiv:2302.10406},
year = {2023}
}