USCNet：基于Transformer的多模态融合与分割引导用于尿石症分类
计算机视觉与模式识别
2026-04-09 v1
摘要
肾结石病是泌尿科最常见的疾病之一，理解结石成分对于制定个性化治疗方案和预防复发至关重要。当前分析肾结石的方法依赖于术后标本，无法在术前实现快速分类。为克服这一局限，我们提出了一种新方法——尿石分割与分类网络（USCNet）。该创新方法通过整合计算机断层扫描（CT）图像与电子健康记录（EHR）中的临床数据，实现了肾结石的精确术前分类。USCNet采用基于Transformer的多模态融合框架，结合CT-EHR注意力模块和分割引导注意力模块以实现准确分类。此外，引入了一种动态损失函数以有效平衡分割与分类的双重目标。在自有肾结石数据集上的实验表明，USCNet在所有评估指标上均表现出色，其分类效能显著超越了现有主流方法。本研究为肾结石的精确术前分类提供了一种有前景的解决方案，具有重要的临床价值。源代码已公开：https://github.com/ZhangSongqi0506/KidneyStone。
引用
@article{arxiv.2604.07141,
title = {USCNet: Transformer-Based Multimodal Fusion with Segmentation Guidance for Urolithiasis Classification},
author = {Changmiao Wang and Songqi Zhang and Yongquan Zhang and Yifei Wang and Liya Liu and Nannan Li and Xingzhi Li and Jiexin Pan and Yi Jiang and Xiang Wan and Hai Wang and Ahmed Elazab},
journal= {arXiv preprint arXiv:2604.07141},
year = {2026}
}
备注
Accepted by IEEE Journal of Biomedical and Health Informatics. Early Access