驯服查找表以实现高效图像修饰
计算机视觉与模式识别
2024-07-16 v2 人工智能
图像与视频处理
摘要
高清屏幕在终端用户相机、智能手机和电视等边缘设备中的广泛应用，正激发对图像增强的显著需求。现有的增强模型通常以高性能为优化目标，却未能有效降低硬件推理时间和功耗，尤其是在计算和存储资源受限的边缘设备上。为此，我们提出了图像色彩增强查找表 (ICELUT)，该方法采用查找表 (LUT) 进行极其高效的边缘推理，而无需任何卷积神经网络 (CNN)。在训练阶段，我们利用逐点 (1x1) 卷积提取色彩信息，并结合分裂全连接层以融入全局信息。随后，这两个组件被无缝转换为查找表，以实现与硬件无关的部署。ICELUT 达到了接近 SOTA 的性能，且功耗极低。我们观察到，逐点网络结构表现出稳健的可扩展性，即使在输入图像被大幅下采样至 32x32 时也能保持性能。这些特性使得 ICELUT 作为首个纯基于查找表的图像增强器，在 GPU 上达到了 0.4ms、在 CPU 上达到了 7ms 的空前速度，比任何 CNN 解决方案快至少一个数量级。代码可在 https://github.com/Stephen0808/ICELUT 获取。
引用
@article{arxiv.2403.19238,
title = {Taming Lookup Tables for Efficient Image Retouching},
author = {Sidi Yang and Binxiao Huang and Mingdeng Cao and Yatai Ji and Hanzhong Guo and Ngai Wong and Yujiu Yang},
journal= {arXiv preprint arXiv:2403.19238},
year = {2024}
}
备注
Accepted by ECCV2024