LeRF: 学习图像插值的自适应且高效的重抽样函数
计算机视觉与模式识别
2024-07-16 v1 多媒体
图像与视频处理
摘要
图像重抽样是日常应用中广泛采用的一种技术，例如相机照片编辑。近期深度神经网络 (DNN) 通过引入学习数据先验信息在性能方面取得了显著进展。然而，这些方法仍不足以完全取代插值，原因在于其效率和通用性方面的局限。本文提出了一种新方法，即学习重抽样函数 (称 LeRF)，既利用 DNNs 学习到的结构性先验信息，又利用插值局部连续性假设。具体而言，LeRF 为输入图像的像素分配可变的重抽样函数，并学习预测决定这些重抽样函数形状的超参数的神经网络。基于 LeRF 的公式，我们发展了一系列模型，包括面向效率和面向性能的模型。为实现与插值相当的效率，我们采用查找表 (LUT) 来加速神经网络的推理。此外，我们设计了方向性集成策略和边缘敏感索引模式，以更好地捕获局部结构。另一方面，为获得 DNN 级别的性能，我们提出了 LeRF 的一种扩展，使其能够与预训练的上采样模型协同工作进行级联重抽样。大量实验表明，面向效率的 LeRF 版本的运行速度与插值相当，能良好地推广到任意变换，并显著优于插值，例如在 Manga109 上进行 x2 上采样时，Bicubic 性能提升最高可达 3dB PSNR。此外，面向性能的 LeRF 版本在 much higher efficiency 下达到与现有 DNN 相当的性能，例如在桌面 GPU 上运行时间不足 25%。
引用
@article{arxiv.2407.09935,
title = {LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation},
author = {Jiacheng Li and Chang Chen and Fenglong Song and Youliang Yan and Zhiwei Xiong},
journal= {arXiv preprint arXiv:2407.09935},
year = {2024}
}
备注
Code: https://github.com/ddlee-cn/LeRF-PyTorch