面向内存高效光流的混合代价体积
计算机视觉与模式识别
2024-09-09 v1
摘要
当前领先的光流方法大多基于稠密全配对代价体积，但随着图像分辨率的提升，这些代价体积的计算和空间复杂度呈四次方增长，使得这些方法难以应用于高分辨率图像。本文提出一种新颖的用于内存高效光流的混合代价体积，命名为HCV。为构建HCV，我们首先提出一种Top-k策略，将4维代价体积分为两个全局3维代价体积。这些体积显著降低了内存使用，同时保留了大量的匹配信息。我们进一步引入具有局部搜索空间的局部4维代价体积，以补充HCV的局部信息。基于HCV，我们设计了一种内存高效的光流网络，命名为HCVFlow。与基于全配对代价体积的循环光流方法相比，HCVFlow在显著降低内存消耗的同时，确保了高准确率。我们在Sintel和KITTI数据集上验证了该方法的有效性与效率，并应用于真实世界4K（2160×3840）分辨率图像。大量实验表明，HCVFlow具有极低的内存占用，相较于其他内存高效方法在准确率方面表现更佳。代码已公开发布于https://github.com/gangweiX/HCVFlow。
引用
@article{arxiv.2409.04243,
title = {Hybrid Cost Volume for Memory-Efficient Optical Flow},
author = {Yang Zhao and Gangwei Xu and Gang Wu},
journal= {arXiv preprint arXiv:2409.04243},
year = {2024}
}
备注
10 pages, 6 figures