基于有限见证定理的多重集、测度与图的神经单射函数
机器学习
2023-10-31 v2
摘要
单射多重集函数在多重集与图机器学习的理论研究中具有关键作用。然而，理论中考虑的可证明单射多重集函数（通常依赖多项式矩）与实践所用的多重集函数（依赖神经矩——其关于多重集的单射性迄今未被研究）之间仍存在差距。在本文中，我们弥合了这一差距，证明只要使用解析非多项式激活函数，神经网络的矩确实定义了单射多重集函数。我们理论所需的矩数量在最优化意义上基本仅需至多两倍乘性因子。为证明该结果，我们陈述并证明了一个有限见证定理，其本身具有独立意义。作为主定理的推论，我们推导了关于多重集与测度函数的新近似结果，以及图神经网络的新分离结果。我们还提供了两个负面结果：（1）分段线性神经网络的矩不能是单射多重集函数；（2）即便基于矩的多重集函数是单射的，它们也永远不可能是双 Lipschitz 的。
引用
@article{arxiv.2306.06529,
title = {Neural Injective Functions for Multisets, Measures and Graphs via a Finite Witness Theorem},
author = {Tal Amir and Steven J. Gortler and Ilai Avni and Ravina Ravina and Nadav Dym},
journal= {arXiv preprint arXiv:2306.06529},
year = {2023}
}
备注
NeurIPS 2023 camera-ready