LoFi：用于可扩展图像重建的神经局部场
计算机视觉与模式识别
2024-12-24 v2 机器学习
摘要
神经场或隐式神经表示 (neural fields, INRs) 因其对图像和 3D 体积的数据进行基于坐标的高效表示，在计算机视觉和成像领域引起了广泛关注。本文我们引入一个基于坐标的框架，用于解决成像逆问题，称为 LoFi (局部场)。不同于传统方法，LoFi 在每个坐标处分别处理局部信息，通过多层感知机 (MLP) 进行处理，以恢复该特定坐标处的对象。类似于 INRs，LoFi 能够在任意连续坐标上恢复图像，实现多分辨率图像重建。与标准深度学习模型如卷积神经网络 (CNN) 和视觉变换器 (ViT) 相当或更好的性能，LoFi 在几乎独立于图像分辨率的内存使用下，实现了对超出分布数据的优异泛化。值得注意的是，训练 1024x1024 图像仅需不到 200MB 的内存——远低于标准 CNN 和 ViT。此外，LoFi 的局部设计使其能够在样本数不足 10 个的极小数据集上进行训练，而不产生过拟合，也无需显式正则化或提前停止。
引用
@article{arxiv.2411.04995,
title = {LoFi: Neural Local Fields for Scalable Image Reconstruction},
author = {AmirEhsan Khorashadizadeh and Tobías I. Liaudat and Tianlin Liu and Jason D. McEwen and Ivan Dokmanić},
journal= {arXiv preprint arXiv:2411.04995},
year = {2024}
}