利用分层视觉变换器与多示例学习在组织病理学中预测卵巢癌治疗反应
图像与视频处理
2023-10-20 v1 人工智能
计算机视觉与模式识别
摘要
对许多患者而言，当前卵巢癌治疗的临床获益有限。对于部分疗法，无法预测患者反应，可能使患者在无治疗效果的情况下暴露于治疗不良反应中。作为使用组织病理学图像自动预测卵巢癌治疗效果（ATEC23）挑战赛的一部分，我们评估了深度学习在预测一组来自 78 名卵巢癌患者的 282 张组织病理学全切片图像（WSIs）中，包含抗血管生成药物 bevacizumab 的治疗方案能否带来至少 6 个月的缓解或阻止疾病进展的有效性。我们的方法使用预训练的分层图像金字塔变换器（HIPT）提取区域级特征，并使用基于注意力的多示例学习（ABMIL）模型聚合特征并对全切片进行分类。最优 HIPT-ABMIL 模型的内部平衡准确率为 60.2% ± 2.9%，AUC 为 0.646 ± 0.033。发现组织病理学专用的模型预训练有益于分类性能，但分层变换器并无益处，ResNet 特征提取器取得了相似性能。由于数据集规模小且高度异质，性能在 5 折交叉验证折间波动较大，且折内验证集与测试集性能存在某些极端差异。该模型在组织微阵列上泛化不佳，准确率低于随机水平。目前尚不清楚卵巢癌 WSIs 是否包含可用于准确预测治疗反应的信息，需使用更大、更高质量的数据集进一步验证。
引用
@article{arxiv.2310.12866,
title = {Predicting Ovarian Cancer Treatment Response in Histopathology using Hierarchical Vision Transformers and Multiple Instance Learning},
author = {Jack Breen and Katie Allen and Kieran Zucker and Geoff Hall and Nishant Ravikumar and Nicolas M. Orsi},
journal= {arXiv preprint arXiv:2310.12866},
year = {2023}
}
备注
Submission to ATEC23 challenge at MICCAI 2023 conference