DIFT：面向内存高效光流估计的动态迭代场变换
计算机视觉与模式识别
2023-06-12 v1
摘要
基于神经网络的光流估计近期进展常伴随极高的计算与内存需求，为其面向移动和低功耗用例的模型适配带来挑战。本文提出一种轻量、低延迟且内存高效的模型——动态迭代场变换（DIFT），用于可行于边缘应用（如移动设备、XR、微型无人机、机器人与摄像机）的光流估计。DIFT 遵循迭代细化框架，利用可变分辨率的代价体进行对应估计。我们提出一种内存高效的代价体处理方案以降低峰值内存。此外，我们提出一种在细化各阶段中动态由粗到细的代价体处理新方法，以避免多级代价体。我们展示了首个基于实时代价体的光流深度学习架构，运行于骁龙 8 Gen 1 HTP 高效移动 AI 加速器，在 KITTI 上达到 32 inf/sec 与 5.89 EPE（端点误差），并具有可控的精度-性能折衷。
引用
@article{arxiv.2306.05691,
title = {DIFT: Dynamic Iterative Field Transforms for Memory Efficient Optical Flow},
author = {Risheek Garrepalli and Jisoo Jeong and Rajeswaran C Ravindran and Jamie Menjay Lin and Fatih Porikli},
journal= {arXiv preprint arXiv:2306.05691},
year = {2023}
}
备注
CVPR MAI 2023 Accepted Paper