一种面向医学影像视觉问答的以问题为中心模型
计算机视觉与模式识别
2020-03-23 v1 机器学习
图像与视频处理
机器学习
摘要
深度学习方法在执行多种医学图像分析任务上已被证明极为有效。然而，随着其在临床常规中的潜在应用，缺乏透明性成为其少数弱点之一，引发了关于其行为与失效模式的担忧。大多数推断模型行为的研究集中于间接策略，如估计预测不确定性和在输入图像空间中可视化模型支持区域，而显式查询预测模型关于其图像内容的能力提供了一种更直接的途径来确定训练模型的行为。为此，我们提出一种新颖的视觉问答方法，允许通过书面问题查询图像。在多种医学与自然图像数据集上的实验表明，通过以新颖方式融合图像与问题特征，所提方法取得了与当前方法相等或更高的准确率。
引用
@article{arxiv.2003.08760,
title = {A Question-Centric Model for Visual Question Answering in Medical Imaging},
author = {Minh H. Vu and Tommy Löfstedt and Tufve Nyholm and Raphael Sznitman},
journal= {arXiv preprint arXiv:2003.08760},
year = {2020}
}
备注
Accepted at IEEE Transactions on Medical Imaging