统一建模增强的多模态学习在精密神经肿瘤学中的应用
概率论
2024-06-14 v1
摘要
多模态学习将组织学图像与基因组数据集成，旨在提供微观和分子水平的全面视角，从而增强精密肿瘤学的应用前景。然而，现有方法可能不足以充分建模两性模态的共享或互补信息，以实现更有效的集成。本研究引入统一建模增强的多模态学习 (UMEML) 框架，采用层次注意力结构有效利用组织学和基因组两种模态的共享和互补特征。具体而言，为缓解单模态偏差（源于模态不平衡），我们在病理编码器中采用基于查询的跨注意力机制进行原型聚类。我们的原型分配和模块化策略旨在对齐共享特征并最小化模态差距。此外，引入带可学习标记的注册机制，以增强跨模态特征集成和多模态统一建模中的鲁棒性。我们的实验表明，该方法在脑肿瘤诊断和预后任务中超越了之前的研究进展，凸显了其在精密神经肿瘤学中的优势。
引用
@article{arxiv.2406.07079,
title = {Convex hull of Brownian motion and Brownian bridge},
author = {Stjepan Šebek},
journal= {arXiv preprint arXiv:2406.07079},
year = {2024}
}
备注
13 pages. arXiv admin note: text overlap with arXiv:0912.0631 by other authors