GTP-4o：基于模态提示的异构图学习用于全模态生物医学表征
计算机视觉与模式识别
2024-07-09 v1
摘要
近期在生物医学领域实现多模态表征学习取得了成功。虽然已有的技术能够处理多模态信息，但当扩展到各种临床模态及因内在模态差异导致的实际模态缺失场景时，仍面临挑战。为此，我们提出一种创新的模态提示式异构图用于全模态学习框架（GTP-4o），将大量不同临床模态嵌入统一的表征空间，完成缺失模态的嵌入，并通过图基聚合方法重新构建跨模态学习。具体而言，我们构建异构图嵌入，显式捕获模态特定特征（节点）和跨模态关系（边）所蕴含的多样语义属性。随后，我们设计模态提示完成机制，利用图提示机制生成幻觉图拓扑结构，引导缺失嵌入走向完整表征。通过完成的图，我们细致构建知识引导的层次化跨模态聚合，包括基于全局元路径邻域以探寻由领域知识驱动的潜在异构邻居，以及针对多种异构关系的局部聚合模块以实现全面跨模态交互。我们在严格的基准实验中对比评估了本方法与先前SOTA方法的有效性。总之，GTP-4o 首次探索了如何通过图论方法整体性地嵌入、关联并感知来自各种临床模态的异构模式。项目页面：https://gtp-4-o.github.io/。
引用
@article{arxiv.2407.05540,
title = {GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation},
author = {Chenxin Li and Xinyu Liu and Cheng Wang and Yifan Liu and Weihao Yu and Jing Shao and Yixuan Yuan},
journal= {arXiv preprint arXiv:2407.05540},
year = {2024}
}
备注
Accepted by ECCV2024