用于学习神经场间映射的离散化不变网络
机器学习
2023-10-23 v4 计算机视觉与模式识别
神经与进化计算
摘要
随着以神经场形式表示的连续数据强大表征的出现,对离散化不变学习的需求随之产生:一种用于学习连续域上函数间映射且不对函数采样方式敏感的方法。我们提出了一个理解和设计离散化不变神经网络(DI-Nets)的新框架,它推广了诸多离散网络(如卷积神经网络)以及连续网络(如神经算子)。我们的分析建立了不同有限离散化下模型输出偏差的上界,并突出了点集差异在刻画此类界中的核心作用。该见解引导设计了一系列由准蒙特卡洛采样低差异离散化数值积分驱动的神经网络的族。我们通过构造证明 DI-Nets 普遍逼近一大类可积函数空间之间的映射,并表明离散化不变性也描述了此类模型的反向传播。应用于神经场时,卷积 DI-Nets 能在各种离散化下学习分类和分割视觉数据,并有时在测试时泛化到新型离散化。代码:https://github.com/clintonjwang/DI-net。
引用
@article{arxiv.2206.01178,
title = {Discretization Invariant Networks for Learning Maps between Neural Fields},
author = {Clinton J. Wang and Polina Golland},
journal= {arXiv preprint arXiv:2206.01178},
year = {2023}
}
备注
Published in Transactions on Machine Learning Research 2023