基于学习的轴向视频运动放大

视频运动放大将不可见的微小运动放大至可感知的程度，为人类提供了对感兴趣场景中微小运动的空间密集且整体的理解。这基于放大微小运动可增强运动可读性的前提。然而在现实世界中，振动物体通常具有复杂的自然频率、模态和方向的卷积系统。现有的运动放大通常无法提高可读性，因为复杂的运动即使被放大后仍保留复杂的特性，这可能分散我们分析它们的注意力。在这项工作中，我们专注于通过提出一个新概念——轴向运动放大来提高可读性，该概念沿用户指定的方向放大分解后的运动。轴向运动放大可应用于特定轴向运动至关重要的各种应用，通过提供简化且易于读取的运动信息来实现这一点。为了实现这一点，我们提出了一个新颖的运动分离模块，能够沿感兴趣的轴解耦并放大运动表示。此外，我们为轴向运动放大任务构建了一个新的合成训练数据集。我们提出的方法通过增加一项新特性——用户可控性，提高了沿特定轴向所得运动的可读性。轴向运动放大是一个更广义的概念；因此，我们的方法可以直接适配到通用运动放大，并取得了优于竞争方法的性能。