无权重绑定的基于集合的神经网络编码

我们提出一种用于网络属性预测的神经网络权重编码方法，其利用集合到集合和集合到向量函数来高效编码神经网络参数。与先前需要为不同架构定制编码模型的方法相反，我们的方法能够对混合架构和不同参数规模的模型动物园中的神经网络进行编码。此外，我们的\textbf{S}et-based \textbf{N}eural network \textbf{E}ncoder（SNE）考虑了神经网络的层次化计算结构。为尊重网络权重空间中固有的对称性，我们利用Logit Invariance来学习所需的最小不变性属性。另外，我们引入一个\textit{pad-chunk-encode}流水线以高效编码神经网络层，并可依据计算和内存约束进行调整。我们还引入了两项神经网络属性预测的新任务：跨数据集与跨架构。在跨数据集属性预测中，我们评估属性预测器在针对不同数据集训练但架构相同的模型动物园上的泛化能力。在跨架构属性预测中，我们评估属性预测器向训练时未见的不同架构模型动物园的迁移能力。我们表明SNE在标准基准上优于相关基线。