使用可分离 FIR-IIR 滤波器的机器学习成像核
图像与视频处理
2020-01-06 v1 计算机视觉与模式识别
摘要
我们提出一种固定功能神经网络硬件，旨在以极高效率执行像素到像素的图像变换。我们使用一个完全可训练、固定拓扑的神经网络来构建可执行多种图像处理任务的模型。我们的模型使用压缩跳跃连接线与混合 FIR-IIR 块来降低延迟与硬件占用。我们提出的机器学习成像核（Machine Learning Imaging Core，简称 MagIC）采用约 3mm^2 的硅面积（TSMC 16nm 工艺），比可比较的逐像素稠密预测模型小几个数量级。MagIC 不需要 DDR 带宽、不需要 SRAM，且几乎不需要外部存储器。每个 MagIC 核在 500MHz 下功耗为 56mW（最大功率 215 mW），并实现 23TOPS/W/mm^2 的能效吞吐量。MagIC 可用作成像流水线中的多用途图像处理块，在移动设备的功耗与硅面积限制内逼近计算密集的图像处理应用，如图像去模糊、去噪与着色。
引用
@article{arxiv.2001.00630,
title = {A Machine Learning Imaging Core using Separable FIR-IIR Filters},
author = {Masayoshi Asama and Leo F. Isikdogan and Sushma Rao and Bhavin V. Nayak and Gilad Michael},
journal= {arXiv preprint arXiv:2001.00630},
year = {2020}
}