应对全阶段模态缺失：面向鲁棒重建与个性化的通用模型
计算机视觉与模式识别
2024-06-05 v1
摘要
解决模态缺失问题是多模态学习中的一项关键挑战。当前方法侧重于开发能够在推理阶段处理模态不完整输入的模型，并假设训练期间所有数据均具备完整的模态集。这种对训练时全模态数据的依赖限制了在实际场景中经常遇到的大量模态不完整样本的使用。在本文中，我们提出了一种结合模态重建和模型个性化的鲁棒通用模型，能够有效应对训练和测试阶段的模态缺失问题。我们的方法利用多模态掩码自编码器同时重建缺失模态和掩码块，并融入一种创新的分布近似机制，以充分利用模态完整和模态不完整的数据。重建后的模态随后被用于我们设计的数据-模型共蒸馏方案，以指导存在模态缺失时的模型学习。此外，我们提出了一种CLIP驱动的超网络来个性化部分模型参数，使模型能够适应每种不同的模态缺失场景。我们的方法在两个脑肿瘤分割基准上得到了广泛验证。实验结果表明，我们的方法性能优越，在不同缺失比例的全阶段模态缺失设置下，始终优于先前的最先进方法。代码将公开。
引用
@article{arxiv.2406.01987,
title = {Dealing with All-stage Missing Modality: Towards A Universal Model with Robust Reconstruction and Personalization},
author = {Yunpeng Zhao and Cheng Chen and Qing You Pang and Quanzheng Li and Carol Tang and Beng-Ti Ang and Yueming Jin},
journal= {arXiv preprint arXiv:2406.01987},
year = {2024}
}