Glimpse：面向可扩展且鲁棒 CT 的广义局部性
计算机视觉与模式识别
2025-06-13 v3 机器学习
图像与视频处理
摘要
深度学习已成为医学断层成像的最先进方法。一种常见做法是将简单反演（例如反投影）的结果输入多尺度卷积神经网络 (CNN)，由其计算最终重建结果。尽管在分布内测试数据上表现良好，但这往往导致对某些大尺度结构的过拟合，并在分布外 (OOD) 样本上泛化能力较差。此外，多尺度 CNN 的内存和计算复杂度随图像分辨率不利地扩展，使其难以应用于真实的临床分辨率。本文介绍了 Glimpse，这是一种基于局部坐标的神经网络，用于计算机断层扫描，它仅通过处理与像素邻域相关的测量值来重建像素值。Glimpse 在 OOD 样本上的表现显著优于成功的 CNN，同时在分布内测试数据上达到相当或更优的性能，并保持几乎独立于图像分辨率的内存占用；训练 1024x1024 图像仅需 5GB 内存，比 CNN 少几个数量级。Glimpse 是完全可微的，可以作为即插即用模块集成到任意深度学习架构中，从而实现诸如校正未校准的投影方向等功能。我们的实现和 Google Colab 演示可在 https://github.com/swing-research/Glimpse 获取。
引用
@article{arxiv.2401.00816,
title = {Glimpse: Generalized Locality for Scalable and Robust CT},
author = {AmirEhsan Khorashadizadeh and Valentin Debarnot and Tianlin Liu and Ivan Dokmanić},
journal= {arXiv preprint arXiv:2401.00816},
year = {2025}
}
备注
21 pages, 14 figures