用于计算最优连续图像表示的潜在调制函数
摘要
最近的工作 Local Implicit Image Function (LIIF) 以及随后的基于隐式神经表示 (INR) 的方法在任意尺度超分辨率 (ASSR) 中取得了显著的成功，利用多层感知器 (MLP) 对低分辨率 (LR) 特征进行解码。然而，这些连续图像表示通常在高分辨率 (HR) 高维 (HD) 空间中实现解码，导致计算成本呈二次方增长，严重阻碍了 ASSR 的实际应用。为解决此问题，我们提出一种新的潜在调制函数 (Latent Modulated Function, LMF)，该方法将 HR-HD 解码过程分解为 LR-HD 空间中的共享潜在解码和 HR 低维 (LD) 空间中独立的渲染，从而实现了连续图像表示的首个计算最优范式。具体而言，LMF 在潜在空间中利用 HD MLP 生成每个 LR 特征向量的潜在调制。这使调制 LD MLP 在渲染空间中能够快速适应任何输入特征向量并在任意分辨率上进行渲染。 Furthermore, we leverage the positive correlation between modulation intensity and input image complexity to design a Controllable Multi-Scale Rendering (CMSR) algorithm, offering the flexibility to adjust the decoding efficiency based on the rendering precision. Extensive experiments demonstrate that converting existing INR-based ASSR methods to LMF can reduce the computational cost by up to 99.9%, accelerate inference by up to 57 times, and save up to 76% of parameters, while maintaining competitive performance. The code is available at https://github.com/HeZongyao/LMF.
引用
@article{arxiv.2404.16451,
title = {Latent Modulated Function for Computational Optimal Continuous Image Representation},
author = {Zongyao He and Zhi Jin},
journal= {arXiv preprint arXiv:2404.16451},
year = {2024}
}