FlowFormer：一种用于光流的 Transformer 架构
计算机视觉与模式识别
2022-09-22 v4
摘要
我们提出了一种基于 Transformer 的用于学习光流的神经网络架构，称为光流 Transformer（FlowFormer）。FlowFormer 对由图像对构建的 4D 代价体进行 token 化，通过一种新颖潜在空间中的交替组 Transformer（AGT）层将代价 token 编码为代价记忆，并通过带有动态位置代价查询的循环 Transformer 解码器对代价记忆进行解码。在 Sintel 基准上，FlowFormer 在 clean 和 final pass 上分别取得了 1.159 和 2.088 的平均端点误差（AEPE），比最佳已发表结果（1.388 和 2.47）降低了 16.5% 和 15.5% 的误差。此外，FlowFormer 还取得了很强的泛化性能。在未在 Sintel 上训练的情况下，FlowFormer 在 Sintel 训练集的 clean pass 上取得了 1.01 的 AEPE，比最佳已发表结果（1.29）高出 21.7%。
引用
@article{arxiv.2203.16194,
title = {FlowFormer: A Transformer Architecture for Optical Flow},
author = {Zhaoyang Huang and Xiaoyu Shi and Chao Zhang and Qiang Wang and Ka Chun Cheung and Hongwei Qin and Jifeng Dai and Hongsheng Li},
journal= {arXiv preprint arXiv:2203.16194},
year = {2022}
}
备注
Accepted to ECCV 2022. Project Page: https://drinkingcoder.github.io/publication/flowformer/