随机令牌融合用于多视角医学诊断
计算机视觉与模式识别
2024-10-22 v1 人工智能
机器学习
摘要
在多视角医学诊断中，基于深度学习的方法通常融合来自不同成像视角的信息以提高诊断性能。然而，现有方法容易过拟合，并且严重依赖视角特定特征，这可能导致平凡解。在这项工作中，我们引入了随机令牌融合（RTF），一种旨在利用视觉变换器增强多视角医学图像分析的新技术。通过在训练期间将随机性融入特征融合过程，RTF解决了过拟合问题，并增强了诊断模型的鲁棒性和准确性，且在推理时不增加任何额外成本。我们在标准乳腺X线摄影和胸部X射线基准数据集上验证了我们的方法。通过大量实验，我们证明RTF持续提升了现有融合方法的性能，为新一代多视角医学基础模型铺平了道路。
引用
@article{arxiv.2410.15847,
title = {Random Token Fusion for Multi-View Medical Diagnosis},
author = {Jingyu Guo and Christos Matsoukas and Fredrik Strand and Kevin Smith},
journal= {arXiv preprint arXiv:2410.15847},
year = {2024}
}
备注
Originally published at the NeurIPS 2024 Workshop on Advancements In Medical Foundation Models: Explainability, Robustness, Security, and Beyond (AIM-FM)