用于病理学多模态整合的多染色图融合方法
图像与视频处理
2022-04-28 v1 计算机视觉与模式识别
机器学习
摘要
在病理学中，组织样本通过多种染色技术进行评估，以增强独特组织学特征的对比度。本文提出了一种基于多模态CNN-GNN的图融合方法，利用来自多张未配准的组织病理学图像的互补信息来预测病理评分。我们通过预测非酒精性脂肪性肝炎（NASH）的CRN纤维化分期和NAFLD活动度评分（NAS）来展示该方法。NASH的初步评估通常需要对两种组织学染色进行肝活检评估：三色染色（TC）和苏木精-伊红染色（H&E）。我们的多模态方法学习从对应于每种染色的TC和H&E图中提取互补信息，同时学习一种最优策略来组合这些信息。通过计算机得出的评分与病理学家共识评分之间计算线性加权Cohen's kappa系数来衡量，我们报告在预测纤维化分期和NAS组分等级方面，相较于单一染色建模方法，性能提升高达20%。总体而言，本文展示了利用多样病理图像改进机器学习驱动的组织学评估的价值。
引用
@article{arxiv.2204.12541,
title = {Multi stain graph fusion for multimodal integration in pathology},
author = {Chaitanya Dwivedi and Shima Nofallah and Maryam Pouryahya and Janani Iyer and Kenneth Leidal and Chuhan Chung and Timothy Watkins and Andrew Billin and Robert Myers and John Abel and Ali Behrooz},
journal= {arXiv preprint arXiv:2204.12541},
year = {2022}
}