对称神经网络中的指数级分离
机器学习
2022-12-13 v3
摘要
本文中，我们展示了对称神经网络架构之间一种新颖的分离现象。具体而言，我们将关系网络(Relational Network)~\parencite{santoro2017simple} 视为深度集(DeepSets)~\parencite{zaheer2017deep} 架构的自然推广，并研究它们的表示能力差距。在解析激活函数的限制下，我们构造了一个作用于大小为 、元素维度为 的集合上的对称函数，它可被前者架构高效逼近，但可证明后者需要关于 和 指数级的宽度。
引用
@article{arxiv.2206.01266,
title = {Exponential Separations in Symmetric Neural Networks},
author = {Aaron Zweig and Joan Bruna},
journal= {arXiv preprint arXiv:2206.01266},
year = {2022}
}