Re-M3Dr: 重平衡多模态均值偏差回归
计算机视觉与模式识别
2026-05-27 v1
摘要
均值偏差(MD)是评估视野损失的关键指标。虽然先前工作仅关注从光学相干断层扫描(OCT)预测 MD,但将 OCT 与另一种视网膜照射(FP)图像组合起来以提高性能是直观的,因为两种眼科医学影像提供互补信息。这在应用精细的多目标优化时尤为期待,正如常见的多模态分类中所记录。意外的是,我们的调查发现,在这种医学影像场景下,多模态融合的表现不如单模态模型。在详细分析后,我们识别到根本原因是数据分布与模态学习冲突之间的耦合失衡。这种失衡扭曲了优化景观,导致训练不稳定。为解决这一挑战,我们提出了一种名为重平衡多模态均值偏差回归(Re-M3Dr)的方法,这是一种新的多模态回归框架。我们通过基于自适应边际的监督对比学习来增强单模态表示。随后,我们的框架通过锋利度感知梯度调制来稳定联合优化。在两个公共和私人临床数据集上的实验结果显示,与当前最先进的多模态学习方法相比,平均降低 29% 的均方误差(MSE),显示出 Re-M3Dr 的优越性。代码已包含在补充材料中。
引用
@article{arxiv.2605.26513,
title = {Re-M3Dr: Rebalanced MultiModal Mean Deviation Regression},
author = {Haojie Yin and Chengcheng Feng and Tianyi Liu and Tianqi Zhang and Kaizhu Huang},
journal= {arXiv preprint arXiv:2605.26513},
year = {2026}
}