向量与张量上置换不变函数的通用表示

我们研究的主要对象是多重集函数——即关于变大小输入的置换不变函数。由 \cite{zaheer2017deep} 提出的 Deep Sets 通过可和分解模型为标量上的连续多重集函数提供了\emph{通用表示}。将函数定义域限制为 $D$ 维向量的有限多重集时，Deep Sets 还提供了一种\emph{通用逼近}，其所需潜空间维度为 $O(N^D)$——其中 $N$ 为输入多重集大小的上界。在本文中，我们强化该结果，证明通过 $O(N^D)$ 的潜空间维度，对连续与非连续多重集函数均可保证通用表示。随后我们引入\emph{可识别}多重集，可用识别函数唯一标记其元素，即有限精度向量是可识别的。利用对可识别多重集的分析，我们证明通用连续多重集函数的可和分解模型仅需 $2DN$ 的潜维度。我们进一步表明该模型的编码器与解码器函数均为连续——这是相对于缺乏此类保证的现有工作的主要贡献。同时，这相比前述针对连续与非连续多重集函数通用表示所推导的 $O(N^D)$ 界有显著改进。我们随后推广结果，给出特殊的和分解结构，以通用表示可识别张量上的置换不变张量函数。这些和分解模型族使我们能够设计深度网络架构，并将其部署于序列、图像与图上的多种学习任务中。