高维特征下集合表示只需多项式宽度即可实现
机器学习
2024-03-08 v3
摘要
集合表示在深度学习中已变得无处不在，用于建模对输入顺序不敏感的神经网络的归纳偏置。DeepSets 是集合表示中最广泛使用的神经网络架构。它先将每个集合元素嵌入到维度为 的潜空间，再通过求和池化获得整体集合嵌入，最后将整体集合嵌入映射到输出。本文中，我们研究维度 对 DeepSets 表达能力的影响。以往的分析要么将高维特征过度简化为单维特征，要么局限于解析激活函数，从而偏离实际应用，或导致 随集合大小 和特征维度 呈指数增长。为探究实现充分表达能力的最小 值，我们提出两种集合元素嵌入层：(a) 线性+幂激活（LP）和 (b) 线性+指数激活（LE）。我们证明使用这两种嵌入层时， 为 poly 足以用于集合表示。我们还给出了 LP 嵌入层下 的下界。此外，我们将结果推广到置换等变集合函数和复域。
引用
@article{arxiv.2307.04001,
title = {Polynomial Width is Sufficient for Set Representation with High-dimensional Features},
author = {Peihao Wang and Shenghao Yang and Shu Li and Zhangyang Wang and Pan Li},
journal= {arXiv preprint arXiv:2307.04001},
year = {2024}
}
备注
ICLR 2024