STB-VMM:基于 Swin Transformer 的视频运动放大
计算机视觉与模式识别
2023-03-29 v2 人工智能
摘要
视频运动放大技术的目标是放大视频中的微小运动,以揭示先前不可见或未察觉的运动。其用途从生物医学应用和深度伪造检测到结构模态分析与预测性维护。然而,从噪声中辨别微小运动是一项复杂的任务,尤其是在试图放大非常细微的、通常亚像素级的运动时。因此,运动放大技术通常存在噪声和模糊输出的问题。本工作提出了一种基于 Swin Transformer 的新 SOTA 模型,该模型对噪声输入具有更好的容忍度,并且输出质量更高,相比现有技术表现出更少的噪声、模糊和伪影。输出图像质量的提升将使任何依赖放大视频序列的应用能够实现更精确的测量,并可能推动视频运动放大技术在新技术领域的进一步发展。
引用
@article{arxiv.2302.10001,
title = {STB-VMM: Swin Transformer Based Video Motion Magnification},
author = {Ricard Lado-Roigé and Marco A. Pérez},
journal= {arXiv preprint arXiv:2302.10001},
year = {2023}
}
备注
Code available at: https://github.com/RLado/STB-VMM