基于辅助监督的小数据集改进多模态融合
图像与视频处理
2023-10-02 v1 计算机视觉与模式识别
摘要
前列腺癌是全球男性癌症相关死亡的主要原因之一。与许多癌症一样，其诊断需要专家整合异质性患者信息，如影像、临床风险因素等。因此，近来已有许多研究致力于针对临床决策任务对影像与非影像数据进行深度多模态融合。其中许多研究提出融合各患者模态学习特征的方法，借助跨模态注意力门控、Kronecker积融合、正交正则化等技术带来显著的下游改进。尽管这些增强的融合操作可优于特征拼接，但它们常伴随极高的学习容量，意味着即使应用于小型或低维数据集也易过拟合。我们未设计高表达力融合操作，而是提出三种简单方法，通过训练期间生成辅助监督源来改进小数据集的多模态融合以助优化：额外监督、临床预测和密集融合。我们在配对组织病理学影像与表格临床特征的前列腺癌诊断上验证了所提方法。所提方法易于实现，可应用于任何具有配对影像与非影像数据的分类任务。
引用
@article{arxiv.2304.00379,
title = {Improved Multimodal Fusion for Small Datasets with Auxiliary Supervision},
author = {Gregory Holste and Douwe van der Wal and Hans Pinckaers and Rikiya Yamashita and Akinori Mitani and Andre Esteva},
journal= {arXiv preprint arXiv:2304.00379},
year = {2023}
}
备注
IEEE ISBI 2023 (see http://2023.biomedicalimaging.org/en/)