GaraMoSt: 面向DSA图像高效多帧插值的并行多粒度运动与结构建模
计算机视觉与模式识别
2024-12-20 v2
摘要
针对数字减影血管造影（DSA）图像的快速且精确的直接多帧插值方法对于减少辐射并为医生提供实时辅助以进行精确诊断和治疗至关重要。DSA图像包含复杂的血管结构和各种运动。应用自然场景视频帧插值（VFI）方法会导致运动伪影、结构消散和模糊。最近，MoSt-DSA首次专门解决了这些问题并取得了SOTA结果。然而，MoSt-DSA对实时性能的关注导致其对生成图像中高频噪声的抑制不足以及对低频噪声的过滤不完整。为了在相同计算时间尺度内解决这些问题，我们提出了GaraMoSt。具体来说，我们通过并行设计优化了网络流水线，并提出了一个名为MG-MSFE的模块。MG-MSFE以全卷积并行方式提取不同粒度下的帧间运动和结构特征，并支持在不同尺度上独立灵活调整上下文感知粒度，从而提高了计算效率和准确性。大量实验表明，GaraMoSt在准确性、鲁棒性、视觉效果和噪声抑制方面达到了SOTA性能，全面超越了MoSt-DSA和其他自然场景VFI方法。代码和模型可在https://github.com/ZyoungXu/GaraMoSt获取。
引用
@article{arxiv.2412.14118,
title = {GaraMoSt: Parallel Multi-Granularity Motion and Structural Modeling for Efficient Multi-Frame Interpolation in DSA Images},
author = {Ziyang Xu and Huangxuan Zhao and Wenyu Liu and Xinggang Wang},
journal= {arXiv preprint arXiv:2412.14118},
year = {2024}
}
备注
Accepted by AAAI2025