基于跨模态随机网络预测的不确定性感知多模态学习
计算机视觉与模式识别
2022-07-25 v1 机器学习
摘要
多模态学习侧重于在预测过程中通过等权组合多种输入数据模态来训练模型。然而，这种等权组合可能损害预测精度，因为不同模态通常伴随不同程度的不确定性。利用此类不确定性组合模态已被若干方法研究，但成效有限，因为这些方法要么专为特定分类或分割问题设计而难以迁移至其他任务，要么遭受数值不稳定。本文我们提出一种新的不确定性感知多模态学习器，通过跨模态随机网络预测(CRNP)度量特征密度来估计不确定性。CRNP设计为只需少量适配即可在不同预测任务间迁移，同时具有稳定的训练过程。从技术角度看，CRNP是首个探索随机网络预测以估计不确定性并组合多模态数据的方法。在两项3D多模态医学图像分割任务与三项2D多模态计算机视觉分类任务上的实验显示了CRNP的有效性、适应性与鲁棒性。此外，我们提供了对不同的融合函数与可视化的广泛讨论以验证所提模型。
引用
@article{arxiv.2207.10851,
title = {Uncertainty-aware Multi-modal Learning via Cross-modal Random Network Prediction},
author = {Hu Wang and Jianpeng Zhang and Yuanhong Chen and Congbo Ma and Jodie Avery and Louise Hull and Gustavo Carneiro},
journal= {arXiv preprint arXiv:2207.10851},
year = {2022}
}