DRCAS：面向基于硬件压缩采集方案的深度复原网络
图像与视频处理
2019-11-19 v2 机器学习
摘要
我们通过使用 CAS（压缩采集方案）和 DNN（深度神经网络）来研究图像采集设备中的功耗与性能改进。为此，我们提出了一种新颖的图像采集方案 HCAS（基于硬件的压缩采集方案），其采用基于硬件的合并（下采样）、位截断和 JPEG 压缩，并开发了基于深度学习的复原网络，用于复原采用该方案采集的图像。HCAS 的动机在于：利用合并和位截断对原始数据进行原位压缩，可降低整个下游图像处理流水线中的数据流量与功耗，而对处理后的数据使用 JPEG 进行额外压缩则有助于图像的存储与传输。原位压缩与 JPEG 的结合带来了高压缩比、显著的功耗节省以及图像采集简化的进一步优势。考虑到这些问题，我们提出了 DRCAS（面向基于硬件压缩采集方案的深度复原网络），据我们所知，这是文献中首个针对如 HCAS 这类采集方案所采集图像的复原工作。与文献中超分辨率任务所用的 CAS 方法（双三次下采样）相比，本文提出的 HCAS 在压缩比和硬件友好性方面均表现更优。复原网络 DRCAS 也优于最先进的超分辨率网络，同时规模小得多。因此，HCAS 与 DRCAS 技术将使我们能够设计更简单且功耗高效的图像采集流水线。
引用
@article{arxiv.1909.10136,
title = {DRCAS: Deep Restoration Network for Hardware Based Compressive Acquisition Scheme},
author = {Pravir Singh Gupta and Xin Yuan and Gwan Seong Choi},
journal= {arXiv preprint arXiv:1909.10136},
year = {2019}
}