迈向 LUT 的深度神经网络：用多个查找表学习高效图像复原

边缘设备上高清屏幕的广泛使用激发了对高效图像复原算法的强烈需求。近期引入的将深度学习模型缓存在查找表（LUT）中的方式正是为响应此需求。然而，单个 LUT 的大小随其索引容量增加呈指数增长，这限制了其感受野进而限制性能。为克服单 LUT 方案的固有局限，我们提出一种通用方法像神经网络一样构建多个 LUT，称为 MuLUT。首先，我们设计新颖的互补索引模式及对任意模式的通用实现，以并行构建多个 LUT。其次，我们提出重索引机制以实现级联 LUT 间的分层索引。最后，我们引入通道索引以允许跨通道交互，使 LUT 能联合处理颜色通道。通过这些原则性方式，MuLUT 总大小与其索引容量呈线性关系，提供了一种以扩大感受野获得优越性能的可行方案。我们在包括超分辨率、去马赛克、去噪和去块效应在内的多种图像复原任务上验证了 MuLUT 的优势。MuLUT 相较单 LUT 方案取得显著提升，例如超分辨率最高提升 1.1dB PSNR、灰度去噪最高提升 2.8dB PSNR，同时保持其效率，即相较轻量深度神经网络能耗降低 100$\times$。我们的代码与训练模型公开于 https://github.com/ddlee-cn/MuLUT。