面向多模态癌症生存预测的原型信息瓶颈与解耦
计算机视觉与模式识别
2024-02-27 v2
摘要
多模态学习显著有利于癌症生存预测，尤其是病理图像和基因组数据的整合。尽管多模态学习在癌症生存预测方面具有优势，但多模态数据中的大量冗余阻碍了其提取判别性和紧凑性信息：（1）模态内大量与任务无关的信息模糊了判别性，特别是对于病理学中包含大量图块的千兆像素全切片图像（WSI）和基因组数据中数千个通路，导致了“模态内冗余”问题。（2）模态间重复的信息主导了多模态数据的表示，使得模态特异性信息容易被忽略，导致了“模态间冗余”问题。为了解决这些问题，我们提出了一个新的框架——原型信息瓶颈与解耦（PIBD），它由用于处理模态内冗余的原型信息瓶颈（PIB）模块和用于处理模态间冗余的原型信息解耦（PID）模块组成。具体来说，我们提出了信息瓶颈的一种变体PIB，用于为不同风险级别建模近似一组实例的原型，这些原型可用于选择模态内的判别性实例。PID模块在联合原型分布的指导下，将纠缠的多模态数据解耦为紧凑的独立组件：模态共有知识和模态特异性知识。在五个癌症基准数据集上的大量实验证明了我们方法相对于其他方法的优越性。
引用
@article{arxiv.2401.01646,
title = {Prototypical Information Bottlenecking and Disentangling for Multimodal Cancer Survival Prediction},
author = {Yilan Zhang and Yingxue Xu and Jianqi Chen and Fengying Xie and Hao Chen},
journal= {arXiv preprint arXiv:2401.01646},
year = {2024}
}