ERNet 系列：面向计算成像基于块推理的硬件导向 CNN 模型
机器学习
2020-01-31 v2 图像与视频处理
机器学习
摘要
卷积神经网络（CNN）在计算成像任务中需要巨大的 DRAM 带宽，近期应用的基于块的处理大幅降低了带宽需求。然而，由此带来的特征重算的额外计算开销或用于特征复用的庞大 SRAM 会降低性能，甚至阻碍最先进模型的使用。本文通过在构建 CNN 时预先考虑开销与硬件约束来解决这些问题。我们研究了一种新颖的模型系列——ERNet——其将临时层扩展作为提升模型容量的另一种手段。我们从硬件需求角度分析了三种 ERNet 变体，并引入了硬件感知的模型优化流程。我们将给出在全高清与 4K 超高清应用上的评估，以展示其在图像质量、像素吞吐量和 SRAM 占用方面的有效性。结果还表明，在基于块的推理中，ERNet 可分别优于最先进的 FFDNet 和 EDSR-baseline 模型用于图像去噪和超分辨率。
引用
@article{arxiv.1910.05787,
title = {ERNet Family: Hardware-Oriented CNN Models for Computational Imaging Using Block-Based Inference},
author = {Chao-Tsung Huang},
journal= {arXiv preprint arXiv:1910.05787},
year = {2020}
}
备注
5 pages; appearing in IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2020