多模态生存分析的“齐心协力，再各自为”：基于最小-最大视角的重访
计算机视觉与模式识别
2025-11-25 v1
摘要
整合如组织病理学和基因组学等异构模态是推进生存分析的核心，但大多数现有方法侧重通过注意力机制实现跨模态对齐，往往牺牲了模态特定特征。这种过度对齐会导致表示塌陷和特征多样性降低。本文通过对齐与独特性的双重视角重新审视多模态生存分析，认为在实现语义一致性方面，保持模态特定结构的重要性与实现对齐的价值相当。本文提出了“齐心协力，再各自为” (Together-Then-Apart, TTA)，一个统一的最小-最大优化框架，同时建模共享表示和模态特定表示。在 Together 阶段，通过基于不平衡最优传输目标的共享原型对齐嵌入，适应性地突出信息丰富的 token。在 Apart 阶段，通过模态锚和对比正则化最大化表示多样性，保留独特的模态信息并防止特征塌陷。在五个 TCGA 基准上的大量实验表明，TTA 持续优于最新方法。除了实证提升，我们的公式提供了一种新的理论视角，阐明在稳健、可解释且生物学上有意义的多模态生存分析中，如何实现对齐与独特性的联合优化。
引用
@article{arxiv.2511.18089,
title = {Together, Then Apart: Revisiting Multimodal Survival Analysis via a Min-Max Perspective},
author = {Wenjing Liu and Qin Ren and Wen Zhang and Yuewei Lin and Chenyu You},
journal= {arXiv preprint arXiv:2511.18089},
year = {2025}
}