基于Foundation模型特征聚合的组织病理图像嵌入用于患者治疗反应预测
计算机视觉与模式识别
2024-08-09 v1
摘要
预测患者对癌症治疗的反应是高度关注的议题。然而，由于患者生物体与所考虑治疗之间的相互作用复杂，这一任务仍然具有挑战性。最近的工作利用在大规模无标记组织病理数据集上进行自监督学习预训练的Foundation模型，为开发与癌症诊断相关任务的新方法开辟了新方向。本文提出了一种新方法，用于预测 diffuse large B 细胞淋巴瘤患者治疗反应。该方法利用多个Foundation模型作为特征提取器，以获得对应组织小区域的局部表示，然后通过注意力机制的多任务学习聚合这些局部表示，以获得图像的全局表示。我们的实验研究在152名患者的数据集上进行，显示出该方法的有前景的成果，尤其是凸显了使用Foundation模型相对于常规ImageNet预训练的优势。此外，所获得的结果清晰地表明了Foundation模型对于表征组织病理图像并为此任务生成更合适语义表示的潜力。
引用
@article{arxiv.2408.03954,
title = {Histopathology image embedding based on foundation models features aggregation for patient treatment response prediction},
author = {Bilel Guetarni and Feryal Windal and Halim Benhabiles and Mahfoud Chaibi and Romain Dubois and Emmanuelle Leteurtre and Dominique Collard},
journal= {arXiv preprint arXiv:2408.03954},
year = {2024}
}
备注
Accepted at MICCAI 2024 workshop MOVI