基于快速运动估计和感知残差的高效 Bayer 域视频计算机视觉
计算机视觉与模式识别
2025-11-17 v3
摘要
视频计算机视觉系统面临两个根本挑战带来的计算负担：消除不必要的处理，以及在保持准确性的同时最大限度地减少后端推理中的时间冗余。为此，我们提出了一个联合优化前端和后端的高效视频计算机视觉框架。在前端，我们删除传统的图像信号处理器（ISP），直接将 Bayer 原始测量输入到 Bayer 域视觉模型中，避免了昂贵的人类导向 ISP 操作。在后端，我们引入一种快速且高度并行的运动估计算法，从而提取帧间时间对应关系以避免冗余计算。为缓解因运动不准确性导致的伪影，我们进一步采用轻量级感知残差网络，直接学习感知层残差并细化传递特征。跨多个模型和任务的实验表明，我们的系统在仅轻微性能下降的情况下实现了显著的加速。
引用
@article{arxiv.2508.05990,
title = {Efficient Bayer-Domain Video Computer Vision with Fast Motion Estimation and Learned Perception Residual},
author = {Haichao Wang and Jiangtao Wen and Yuxing Han},
journal= {arXiv preprint arXiv:2508.05990},
year = {2025}
}