H&E 切片与多重免疫荧光图像间的多模态病理图像检索
图像与视频处理
2023-06-13 v1 计算机视觉与模式识别
定量方法
摘要
我们提出一种多模态病理图像检索方法，在变分自编码器 (VAE) 潜空间上使用动态时间规整 (DTW) 并输入排序选择投票方案，以检索与查询 H&E 切片最相似的多重免疫荧光成像 (mIF)。通过训练 VAE 并应用 DTW，我们对齐并比较 mIF 与 H&E 切片。我们的方法通过将 H&E 的形态学数据与 mIF 的免疫表型分析相整合，改进了鉴别诊断与治疗决策，为临床医生提供丰富的疾病状态视角。这有助于理解组织样本中的空间关系，并可能革新诊断流程，提升精确度并实现个性化治疗选择。我们的技术使用结直肠癌与健康扁桃体样本证明了可行性。为验证其将这两种不同模态映射到统一向量空间的能力，在一个旨在探索多重免疫荧光 (mIF) 与苏木精-伊红 (H&E) 染色相关性的搜索引擎上进行了详尽的消融研究。尽管存在极端类别不平衡，该系统通过跨多种数据特征返回相似结果展现了鲁棒性与实用性，这表明其在多模态组织病理学数据分析中未来应用的潜力。
引用
@article{arxiv.2306.06780,
title = {Multimodal Pathology Image Search Between H&E Slides and Multiplexed Immunofluorescent Images},
author = {Amir Hajighasemi and MD Jillur Rahman Saurav and Mohammad S Nasr and Jai Prakash Veerla and Aarti Darji and Parisa Boodaghi Malidarreh and Michael Robben and Helen H Shang and Jacob M Luber},
journal= {arXiv preprint arXiv:2306.06780},
year = {2023}
}