放射学中的自由形式医学视觉问答
计算机视觉与模式识别
2024-01-25 v1 人工智能
摘要
医学领域的视觉问答（Visual Question Answering, VQA）提出了一项独特的跨学科挑战，融合了计算机视觉、自然语言处理和知识表示等领域。尽管其重要性不言而喻，但医学VQA的研究一直较为稀少，直到2018年才开始获得发展势头。为填补这一空白，我们的研究深入探讨了放射学图像的有效表示以及多模态表示的联合学习，超越了现有方法。我们创新性地扩充了SLAKE数据集，使我们的模型能够回答更多样化的问题，而不仅限于放射学或病理学图像的直接内容。我们的模型以较不复杂的架构实现了79.55%的Top-1准确率，展现出与当前最先进模型相当的性能。这项研究不仅推动了医学VQA的发展，也为诊断场景中的实际应用开辟了途径。
引用
@article{arxiv.2401.13081,
title = {Free Form Medical Visual Question Answering in Radiology},
author = {Abhishek Narayanan and Rushabh Musthyala and Rahul Sankar and Anirudh Prasad Nistala and Pranav Singh and Jacopo Cirrone},
journal= {arXiv preprint arXiv:2401.13081},
year = {2024}
}
备注
6 pages and 4 figures