MoSt-DSA：面向 DSA 图像直接多帧插值的运动与结构交互建模
计算机视觉与模式识别
2024-07-10 v1
摘要
人工智能已成为医学图像分析的重要工具。作为一种先进的脑血管造影技术，数字减影血管造影（DSA）面临着一个挑战，即对人体的辐射剂量与图像数量成正比。通过减少图像并使用 AI 进行插值，可以显著降低辐射。然而，与自然场景相比，DSA 图像呈现出更复杂的运动和结构特征，使得插值更具挑战性。我们提出了 MoSt-DSA，这是首个使用深度学习进行 DSA 帧插值的工作。与提取不清晰或粗粒度特征的自然场景视频帧插值（VFI）方法不同，我们设计了一个通用模块，通过调整最佳上下文范围并将上下文转换为线性函数，以高效的全卷积方式对帧之间的运动和结构上下文交互进行建模。得益于此，MoSt-DSA 也是首个在训练和测试期间仅需一次前向传递即可直接在任意时间步实现任意数量插值的方法。我们将 MoSt-DSA 与 7 个具有代表性的 VFI 模型在插值 1 至 3 帧上进行了广泛比较，MoSt-DSA 在 470 个 DSA 图像序列（每个序列通常为 152 张图像）上表现出稳健的结果，平均 SSIM 超过 0.93，平均 PSNR 超过 38（标准差分别小于 0.030 和 3.6），在准确率、速度、视觉效果和内存使用方面全面达到了 SOTA 性能。我们的代码可在 https://github.com/ZyoungXu/MoSt-DSA 获取。
引用
@article{arxiv.2407.07078,
title = {MoSt-DSA: Modeling Motion and Structural Interactions for Direct Multi-Frame Interpolation in DSA Images},
author = {Ziyang Xu and Huangxuan Zhao and Ziwei Cui and Wenyu Liu and Chuansheng Zheng and Xinggang Wang},
journal= {arXiv preprint arXiv:2407.07078},
year = {2024}
}
备注
Accepted to ECAI2024