用局部隐式图像函数学习连续图像表示
计算机视觉与模式识别
2021-04-02 v2 机器学习
摘要
如何表示一幅图像?虽然视觉世界以连续方式呈现,但机器以像素的二维数组这种离散方式存储和观看图像。在本文中,我们寻求学习图像的连续表示。受近期隐式神经表示在三维重建中进展的启发,我们提出局部隐式图像函数(LIIF),它以图像坐标和坐标周围的二维深度特征作为输入,预测给定坐标处的RGB值作为输出。由于坐标是连续的,LIIF可以以任意分辨率呈现。为生成图像的连续表示,我们通过超分辨率的自监督任务训练带有LIIF表示的编码器。学习到的连续表示可以以任意分辨率呈现,甚至外推到高30倍的分辨率,而训练任务并未提供。我们进一步展示LIIF表示在二维中建立了离散与连续表示之间的桥梁,它自然支持以尺寸变化的图像真值为训练任务,并显著优于对真值调整大小的方法。
引用
@article{arxiv.2012.09161,
title = {Learning Continuous Image Representation with Local Implicit Image Function},
author = {Yinbo Chen and Sifei Liu and Xiaolong Wang},
journal= {arXiv preprint arXiv:2012.09161},
year = {2021}
}
备注
CVPR 2021 (oral). Project page with videos and code: https://yinboc.github.io/liif/