从动力学视角重新思考光流预测
计算机视觉与模式识别
2024-05-22 v1 人工智能
多媒体
摘要
光流估计是低层计算机视觉中的基本任务之一，它描述了像素级位移，并可用于许多其他任务。从表观方面来看，光流可以被视为连续帧中像素之间的相关性，因此持续细化相关体积可以获得出色的性能。然而，这会使该方法具有灾难性的计算复杂度。不仅如此，连续帧遮挡区域引起的误差会通过不准确的扭曲操作被放大。仅从表观视角无法解决这些挑战，因此本文从动力学视角重新思考光流估计。基于这一动机，我们提出了一种结合表观和动力学信息的方法。所提出的方法直接根据从图像中提取的特征预测光流，而不是构建相关体积，这将提高整个网络的效率。同时，所提出的方法涉及一种新的可微扭曲操作，同时考虑了扭曲和遮挡。此外，所提出的方法通过新颖的自监督损失函数将动力学特征与表观特征融合。进一步地，全面的实验和消融研究证明，所提出的关于如何预测光流的新见解可以实现优于 SOTA 方法的性能，并且在某些指标上，所提出的方法优于基于相关性的方法，特别是在包含遮挡和快速运动的情况下。代码将公开。
引用
@article{arxiv.2405.12512,
title = {Rethink Predicting the Optical Flow with the Kinetics Perspective},
author = {Yuhao Cheng and Siru Zhang and Yiqiang Yan},
journal= {arXiv preprint arXiv:2405.12512},
year = {2024}
}