Tri-VQA: 医学视觉问答中的三角推理用于多属性分析
机器学习
2024-06-24 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
医学视觉问答(Med-VQA)的交叉研究具有患者参与和临床专家就诊第二意见等优势。然而，现有基于联合嵌入的Med-VQA方法无法解释其提供的结果是否基于正确推理或偶然答案，从而削弱了VQA答案的可信度。本文旨在构建更具一致性和稳定性的Med-VQA结构。灵感来自因果效应，我们提出一种新的三角推理VQA(Tri-VQA)框架，通过构建从"为何是此答案？"的角度推导逆向因果问题，以阐明答案来源并激发更合理的前向推理过程。我们在来自五个中心的内镜超声(EUS)多属性标注数据集上评估了该方法，并在医学VQA数据集上进行测试。实验结果表明，我们的方法优于现有方法。我们的代码和预训练模型已提供（https://anonymous.4open.science/r/Tri_VQA）。
引用
@article{arxiv.2406.15050,
title = {Tri-VQA: Triangular Reasoning Medical Visual Question Answering for Multi-Attribute Analysis},
author = {Lin Fan and Xun Gong and Cenyang Zheng and Yafei Ou},
journal= {arXiv preprint arXiv:2406.15050},
year = {2024}
}