基于深度学习的超高速 X 射线射像时空融合
图像与视频处理
2024-11-28 v1 医学物理
摘要
全场超高速（UHS）X射线成像实验已广泛用于表征各种过程和现象。然而，UHS 实验通过联合获取不同配置的 X射线视频以充分发挥潜能尚未得到充分利用。本文我们研究了一种基于深度学习的时空融合（STF）框架，用于融合两种互补的 X射线图像序列，并重构出具有高空间分辨率、高帧率和高保真度的目标图像序列。我们采用迁移学习策略训练模型，并将所提出框架在两个独立的 X射线数据集上的峰值信噪比（PSNR）、平均绝对差（AAD）和结构相似性（SSIM）与基线深度学习模型、贝叶斯融合框架和双立方插值方法进行比较。该框架在各种输入帧间隔和图像噪声水平配置下均优于其他方法。当使用来自 4 帧低空间分辨率序列和另外 2 帧 20 倍低帧率序列的高分辨率序列时，所提出的方法分别实现了平均 PSNR 为 37.57 dB 和 35.15 dB。搭配合适的高速相机组合，该方法将提升 UHS X射线成像实验的性能，从而增强其科学价值。
引用
@article{arxiv.2411.18441,
title = {Deep learning-based spatio-temporal fusion for high-fidelity ultra-high-speed x-ray radiography},
author = {Songyuan Tang and Tekin Bicer and Tao Sun and Kamel Fezzaa and Samuel J. Clark},
journal= {arXiv preprint arXiv:2411.18441},
year = {2024}
}