通过共享-特定特征建模处理缺失模态的多模态学习
计算机视觉与模式识别
2024-06-14 v2
摘要
缺失模态问题很关键，但多模态模型解决起来并非易事。当前旨在处理多模态任务中缺失模态问题的方法，要么仅在评估时处理缺失模态，要么训练独立模型以应对特定缺失模态设置。此外，这些模型为特定任务设计，因此例如分类模型不易适配到分割任务，反之亦然。在本文中，我们提出共享-特定特征建模（ShaSpec）方法，其比解决上述问题的竞争方法明显更简单且更有效。ShaSpec 旨在通过在学习共享与特定特征以更好表示输入数据的同时，利用训练和评估期间所有可用输入模态。这通过一种依赖于基于分布对齐和域分类的辅助任务以及残差特征融合过程的策略实现。此外，ShaSpec 的设计简洁性使其易于适配到多种任务，如分类和分割。实验在医学图像分割和计算机视觉分类上开展，结果表明 ShaSpec 大幅优于竞争方法。例如，在 BraTS2018 上，ShaSpec 将 SOTA 在增强肿瘤上提升逾 3%，在肿瘤核心上提升 5%，在全肿瘤上提升 3%。代码仓库地址为 https://github.com/billhhh/ShaSpec/。
引用
@article{arxiv.2307.14126,
title = {Multi-modal Learning with Missing Modality via Shared-Specific Feature Modelling},
author = {Hu Wang and Yuanhong Chen and Congbo Ma and Jodie Avery and Louise Hull and Gustavo Carneiro},
journal= {arXiv preprint arXiv:2307.14126},
year = {2024}
}