CCMR：基于由粗到细上下文引导运动推理的高分辨率光流估计
计算机视觉与模式识别
2025-05-29 v1
摘要
基于注意力的运动聚合思想近来在光流估计中展现出效用，尤其在处理遮挡区域时。然而，由于其复杂性，此类思想主要局限于粗分辨率单尺度方法，无法提供高分辨率多尺度网络的精细结果。本文因此提出 CCMR：一种高分辨率由粗到细方法，将基于注意力的运动分组思想用于多尺度光流估计。CCMR 依赖一种分层两步基于注意力的上下文-运动分组策略，先计算全局多尺度上下文特征，再利用它们引导实际的运动分组。由于我们在所有由粗到细尺度上迭代这两步，我们调整了交叉协方差图像变换器以在实现高效化的同时保持尺度相关特性。实验与消融研究证明，我们将多尺度与基于注意力概念结合的付出是值得的。通过提供高度精细的光流场并在遮挡与非遮挡区域均取得显著改进，我们的 CCMR 方法不仅分别以最高 23.0% 和 21.6% 的优势优于相应的单尺度基于注意力基线和多尺度无注意力基线，还取得了最先进（SOTA）结果，在 KITTI 2015 上排名第一，在 MPI Sintel Clean 和 Final 上排名第二。代码与训练模型见 https://github.com/cv-stuttgart /CCMR。
引用
@article{arxiv.2311.02661,
title = {CCMR: High Resolution Optical Flow Estimation via Coarse-to-Fine Context-Guided Motion Reasoning},
author = {Azin Jahedi and Maximilian Luz and Marc Rivinius and Andrés Bruhn},
journal= {arXiv preprint arXiv:2311.02661},
year = {2025}
}
备注
WACV 2024