GAFlow：将高斯注意力引入光流估计
计算机视觉与模式识别
2023-09-29 v1
摘要
光流，即从图像序列中估计运动场，是计算机视觉中的基本问题之一。与大多数旨在实现同类一致表示的像素级任务不同，光流对获取局部判别性与平滑性提出了额外需求，然而现有方法尚未充分探索这一点。本文中，我们将高斯注意力（GA）引入光流模型，以在表示学习期间强调局部特性，并在匹配期间强化运动亲和性。具体而言，我们引入一种新颖的高斯约束层（GCL），可轻松插入现有 Transformer 模块中以突出包含细粒度结构信息的局部邻域。此外，为进行可靠的运动分析，我们提出一种新的高斯引导注意力模块（GGAM），其不仅继承高斯分布的特性以本能地围绕各点的邻域场，还被赋予在匹配期间关注上下文相关区域的能力。我们全装备的模型，即高斯注意力流网络（GAFlow），自然地将一系列新颖的基于高斯的模块融入传统光流框架以实现可靠运动分析。在标准光流数据集上的大量实验一致证明了所提方法在泛化能力评估与在线基准测试方面的卓越性能。代码见 https://github.com/LA30/GAFlow。
引用
@article{arxiv.2309.16217,
title = {GAFlow: Incorporating Gaussian Attention into Optical Flow},
author = {Ao Luo and Fan Yang and Xin Li and Lang Nie and Chunyu Lin and Haoqiang Fan and Shuaicheng Liu},
journal= {arXiv preprint arXiv:2309.16217},
year = {2023}
}
备注
To appear in ICCV-2023