FunkNN:用于函数生成神经插值
图像与视频处理
2023-07-25 v2 计算机视觉与模式识别
机器学习
摘要
我们能否构建连续的生成模型,其跨尺度泛化、可在任意坐标处求值、允许计算精确导数且概念简单?现有的基于MLP的架构生成的样本比具有有利卷积归纳偏置的基于网格的生成器更差。专注于在不同尺度生成图像的模型表现更好,但采用了复杂的架构,并非为图像的连续求值与导数而设计。我们采取信号处理视角,将连续图像生成视为从样本进行的插值。事实上,正确采样的离散图像包含关于低空间频率的全部信息。问题随后在于如何以数据驱动的方式外推频谱,同时满足上述设计准则。我们的答案是FunkNN——一种新型卷积网络,其学习如何在任意坐标处重建连续图像,并可应用于任何图像数据集。与离散生成模型结合后,它成为一种函数生成器,可作为连续病态逆问题中的先验。我们表明,FunkNN生成高质量连续图像,并因其基于块的设计而展现出强大的分布外性能。我们进一步在多个具有精确空间导数的程式化逆问题中展示了其性能。
引用
@article{arxiv.2212.14042,
title = {FunkNN: Neural Interpolation for Functional Generation},
author = {AmirEhsan Khorashadizadeh and Anadi Chaman and Valentin Debarnot and Ivan Dokmanić},
journal= {arXiv preprint arXiv:2212.14042},
year = {2023}
}
备注
17 pages, 13 figures