Fluoroformer：通过基于注意力的通道融合将多示例学习扩展到多重染色图像
图像与视频处理
2024-11-15 v1 人工智能
计算机视觉与模式识别
摘要
尽管多示例学习（MIL）一直是计算病理学中处理全切片图像（WSI）的基础策略，但目前的方法是为传统的苏木精-伊红（H&E）切片设计的，而非新兴的多重染色技术。在此，我们提出了一种 MIL 策略，即 Fluoroformer 模块，该模块专门针对多重染色 WSI 量身定制，利用缩放点积注意力（SDPA）以可解释的方式融合跨不同通道的信息。在由 434 个非小细胞肺癌（NSCLC）样本组成的队列中，我们表明 Fluoroformer 既获得了强大的预后性能，又重现了 NSCLC 的免疫肿瘤学特征。因此，我们的技术为将最先进的 AI 技术适应新兴的空间生物学分析提供了一条路径。
引用
@article{arxiv.2411.08975,
title = {Fluoroformer: Scaling multiple instance learning to multiplexed images via attention-based channel fusion},
author = {Marc Harary and Eliezer M. Van Allen and William Lotter},
journal= {arXiv preprint arXiv:2411.08975},
year = {2024}
}
备注
Findings paper presented at Machine Learning for Health (ML4H) symposium 2024, December 15-16, 2024, Vancouver, Canada, 14 pages