用于高效任意尺度图像表示的动态隐式图像函数
计算机视觉与模式识别
2023-09-26 v2
摘要
近年来，隐式神经表示方法取得了显著成功。近期工作局部隐式图像函数（LIIF）在连续图像表示上取得了令人满意的性能，其像素值由神经网络在连续空间域中推断得出。然而，此类隐式任意尺度超分辨率（SR）方法的计算成本随尺度因子增大而快速增加，使得任意尺度SR十分耗时。本文提出动态隐式图像函数（DIIF），这是一种快速高效、以任意分辨率表示图像的方法。我们不再将图像坐标与最近的2D深度特征作为输入来预测像素值，而是提出坐标分组与切片策略，使神经网络能够从坐标切片解码到像素值切片。我们进一步提出由粗到细多层感知机（C2F-MLP），利用动态坐标切片进行解码，其中每个切片中的坐标数量随尺度因子变化。借助动态坐标切片，DIIF在应对任意尺度SR时显著降低了计算成本。实验结果表明，DIIF可与隐式任意尺度SR方法结合，在以显著更优计算效率取得SOTA SR性能的同时，为实时任意尺度图像表示开辟了路径。我们的代码见 https://github.com/HeZongyao/DIIF。
引用
@article{arxiv.2306.12321,
title = {Dynamic Implicit Image Function for Efficient Arbitrary-Scale Image Representation},
author = {Zongyao He and Zhi Jin},
journal= {arXiv preprint arXiv:2306.12321},
year = {2023}
}