纵向计算机断层扫描肺癌诊断中的时间-距离视觉Transformer
图像与视频处理
2022-09-07 v1 计算机视觉与模式识别
定量方法
摘要
从单张放射图像学到的特征无法提供病灶是否及如何随时间变化的信息。由重复图像计算的时间相关特征可捕捉这些变化，并通过其时间行为帮助识别恶性病灶。然而，纵向医学影像在数据采集中面临稀疏、不规则时间间隔的独特挑战。尽管自注意力已被证明是适用于时间序列与自然图像的多功能且高效的学习机制，但其在解释稀疏、不规则采样空间特征间时间距离方面的潜力尚未被探索。本工作中，我们提出时间-距离视觉Transformer(ViT)的两种解释，即使用(1)连续时间的向量嵌入与(2)时间强调模型来缩放自注意力权重。这两种算法基于合成肺结节的良恶性判别以及来自国家肺部筛查试验(NLST)的肺部筛查计算机断层扫描研究进行评估。在合成结节上评估时间-距离 ViT 的实验显示，与标准 ViT 相比，对不规则采样纵向图像的分类有根本性改进。在 NLST 筛查胸部 CT 的交叉验证中，我们的方法(分别为 0.785 和 0.786 AUC)显著优于横截面方法(0.734 AUC)，并与领先的纵向医学影像算法(0.779 AUC)在良恶性分类上的判别性能相当。本工作代表了首个基于自注意力的纵向医学图像分类框架。我们的代码见 https://github.com/tom1193/time-distance-transformer。
引用
@article{arxiv.2209.01676,
title = {Time-distance vision transformers in lung cancer diagnosis from longitudinal computed tomography},
author = {Thomas Z. Li and Kaiwen Xu and Riqiang Gao and Yucheng Tang and Thomas A. Lasko and Fabien Maldonado and Kim Sandler and Bennett A. Landman},
journal= {arXiv preprint arXiv:2209.01676},
year = {2022}
}
备注
Summited to SPIE 2023 - Medical Imaging. 10 pages