人工生成的视觉扫描路径改善胸部X光图像的多标签疾病分类
摘要
专业放射科医生在胸部X光（CXR）图像上通过依次注视解剖结构来进行疾病诊断。自动的多标签疾病分类器可以通过融入放射科医生的方法而获益。记录的放射科医生在CXR图像上的视觉扫描路径可用于此目的。然而，此类扫描路径在大多数CXR图像上不可用，这即使对现代基于深度学习的分类器也造成了差距。本文提出通过为CXR图像生成有效的视觉扫描路径来弥合这一差距，该生成基于视觉扫描路径预测模型。此外，提出了一种使用生成的扫描路径和视觉图像特征来分类CXR图像中疾病的多类多标签分类框架。扫描路径预测器基于循环神经网络，而多标签分类器涉及一种带有注意力模块的新颖迭代序列模型。我们证明扫描路径预测器生成类人的视觉扫描路径。我们还证明人工视觉扫描路径的使用改善了CXR图像上的多类多标签疾病分类结果。上述观察来自涉及约20万张CXR图像的实验，这些图像来自两个广泛使用的数据集，考虑了14种病理发现的多标签分类。代码链接：https://github.com/ashishverma03/SDC
引用
@article{arxiv.2503.00657,
title = {Artificially Generated Visual Scanpath Improves Multi-label Thoracic Disease Classification in Chest X-Ray Images},
author = {Ashish Verma and Aupendu Kar and Krishnendu Ghosh and Sobhan Kanti Dhara and Debashis Sen and Prabir Kumar Biswas},
journal= {arXiv preprint arXiv:2503.00657},
year = {2025}
}
备注
Copyright 2024 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works