面向能源效率的实时视频去噪技术 ReTiDe

去噪是现代视频管道中的核心操作。在编解码器中，类内滤波抑制传感器噪声和量化伪影以提高率失真性能；在电影后期制作中，去噪器用于修复、风格管理和板块清理。然而，最先进的深度去噪器计算密集型，在大规模部署时通常部署在 GPU 上，导致实时高分辨率流的能耗和成本较高。本文提出了实时去噪 (ReTiDe)，一种面向数据中心 Field 可编程门阵列 (FPGA) 的硬件加速去噪系统。对紧凑型卷积模型进行量化（后训练量化加上量化感知微调）以 INT8 格式，并编译到基于 AMD Deep Learning Processor Unit (DPU) 的 FPGA 上。客户端-服务器集成将计算从主机 CPU/GPU 卸载到网络化 FPGA 服务，同时保持可从现有工作流程（如 NUKE）调用的能力，不会干扰艺术家工具。 在代表性基准测试中，ReTiDe 实现了 37.71$\times$ 吉次运算每秒 (GOPS) 的吞吐量和 5.29$\times$ 的能源效率提升，相较于先前的 FPGA 去噪加速器，峰值信噪比 (PSNR) 和结构相似性指数 (SSIM) 的 degradation 微不足道。这些结果表明，专用加速器能够为编码管道和后期制作提供实用的、可扩展去噪服务，在不牺牲质量或工作流程兼容性的前提下，降低每帧的能耗。代码已公开于 https://github.com/RCSL-TCD/ReTiDe。