从数据到 functa：你的数据点是一个函数，且可如此对待
机器学习
2022-11-11 v3
摘要
在深度学习中，将世界中的测量值表示在离散网格（如二维像素网格）上是一种常见做法。然而，这些测量值所代表的底层信号通常是连续的，例如图像中描绘的场景。一种强大的连续替代方案是使用隐式神经表示来表征这些测量值，即训练一个神经函数，对任意输入空间位置输出适当的测量值。在本文中，我们将这一想法推向更高层次：若要对这些函数本身执行深度学习并将其作为数据对待，需要什么？在此语境下，我们将这些数据称为 functa，并提出了一种在 functa 上进行深度学习的框架。这一视角带来了若干挑战，涉及从数据到 functa 的高效转换、functa 的紧凑表示，以及在 functa 上有效解决下游任务。我们概述了克服这些挑战的方案，并将其应用于广泛的数据模态，包括图像、3D 形状、神经辐射场（NeRF）和流形上的数据。我们展示了该方法跨数据模态具有多种引人注目的性质，特别是在生成建模、数据补全、新视角合成和分类等典型任务上。代码：https://github.com/deepmind/functa
引用
@article{arxiv.2201.12204,
title = {From data to functa: Your data point is a function and you can treat it like one},
author = {Emilien Dupont and Hyunjik Kim and S. M. Ali Eslami and Danilo Rezende and Dan Rosenbaum},
journal= {arXiv preprint arXiv:2201.12204},
year = {2022}
}