STACT-Time：用于 Cine 甲状腺超声时间序列分类的时空跨注意力机制
图像与视频处理
2025-06-25 v1 人工智能
计算机视觉与模式识别
摘要
甲状腺癌是美国最常见的癌症之一。甲状腺结节通常通过超声(US)成像检测到，其中一些需要通过细针抽吸活检(FNA)进行进一步评估。尽管FNA有效，但常常导致良性结节的不必要活检，造成患者不适和焦虑。为此，美国放射学学会甲状腺成像报告与数据系统(TI-RADS)已开发，以减少良性活检。然而，这些系统受限于观察者间的变异性。近期的深度学习方法致力于改善风险分层，但常常未能利用US运动片中提供的丰富时空背景——其中包含来自不同视角的动态全局信息和周围结构变化。本文提出了一种新颖的表示学习框架，即时空跨注意力用于Cine甲状腺超声时间序列分类(STACT-Time)模型，该框架将来自US运动片的影像特征与来自预训练模型自动生成的分割掩码特征相结合。通过利用自注意力和跨注意力机制，该模型捕获US运动片的丰富时空背景，同时通过分割引导学习增强特征表示。我们的模型在疾病分层预测方面优于最先进的模型，实现了交叉验证精确率为0.91(±0.02)，F1分为0.89(±0.02)。通过减少良性结节的不必要活检，同时保持高灵敏度用于恶性检测，我们的模型有望增强临床决策并改善患者预后。
引用
@article{arxiv.2506.18172,
title = {STACT-Time: Spatio-Temporal Cross Attention for Cine Thyroid Ultrasound Time Series Classification},
author = {Irsyad Adam and Tengyue Zhang and Shrayes Raman and Zhuyu Qiu and Brandon Taraku and Hexiang Feng and Sile Wang and Ashwath Radhachandran and Shreeram Athreya and Vedrana Ivezic and Peipei Ping and Corey Arnold and William Speier},
journal= {arXiv preprint arXiv:2506.18172},
year = {2025}
}