聚焦于聚焦：面向 Glioma 分级的聚焦导向表征学习与多视图跨模态对齐
计算机视觉与模式识别
2024-08-19 v1 人工智能
摘要
最近，多模态深度学习通过整合组织病理切片和分子生物标志物，在 Glioma 分级方面取得了令人鼓舞的性能。尽管取得了大量进展，但由于组织内复杂性和组织间异质性，现有研究在组织病理表征学习和分子-病理知识对齐方面存在不足。这两个问题阻碍了现有方法准确解释诊断性分子-病理特征，从而限制了其分级性能。此外，现有多模态方法的实际应用受限于临床部署时分子生物标志物并非总是可用。为此，我们提出一种 Novel Focus on Focus (FoF) 框架，采用配对病理-基因组训练和适用于单模态病理推断，有效提升分子-病理表征。具体而言，我们提出一种 Focus-oriented Representation Learning (FRL) 模块，以鼓励模型识别与 Glioma 分级正或负相关的区域，并通过一致性约束引导其聚焦于诊断区域。为有效将分子生物标志物与形态特征关联，我们提出一种 Multi-view Cross-modal Alignment (MCA) 模块，将组织病理表征投射到分子子空间，通过监督对比学习将形态特征与相应的分子生物标志物状态对齐。在 TCGA GBM-LGG 数据集上的实验表明，我们的 FoF 框架显著提高了 Glioma 分级。值得注意的是，我们的 FoF 仅使用组织病理切片即可实现超越现有多模态方法的优异性能。项目源码已公开于 https://github.com/peterlipan/FoF。
引用
@article{arxiv.2408.08527,
title = {Focus on Focus: Focus-oriented Representation Learning and Multi-view Cross-modal Alignment for Glioma Grading},
author = {Li Pan and Yupei Zhang and Qiushi Yang and Tan Li and Xiaohan Xing and Maximus C. F. Yeung and Zhen Chen},
journal= {arXiv preprint arXiv:2408.08527},
year = {2024}
}