超表示作为生成模型：采样未见过的神经网络权重
机器学习
2022-09-30 v1 计算机视觉与模式识别
摘要
在给定模型动物园的情况下学习神经网络权重的表示是一个新兴且具有挑战性的领域，其在模型检查、神经架构搜索或知识蒸馏等方面有许多潜在应用。最近，在模型动物园上训练的自编码器能够学习一种超表示（hyper-representation），该表示捕捉了动物园中模型的内在和外在属性。在这项工作中，我们将超表示扩展用于生成以采样新的模型权重。我们提出了逐层损失归一化，并证明它是生成高性能模型的关键，以及几种基于超表示拓扑结构的采样方法。使用我们的方法生成的模型具有多样性、高性能，并能够在多个下游任务（初始化、集成采样和迁移学习）上评估时超越强基线。我们的结果表明了通过超表示从模型动物园向新模型聚合知识的潜力，从而为新的研究方向铺平道路。
引用
@article{arxiv.2209.14733,
title = {Hyper-Representations as Generative Models: Sampling Unseen Neural Network Weights},
author = {Konstantin Schürholt and Boris Knyazev and Xavier Giró-i-Nieto and Damian Borth},
journal= {arXiv preprint arXiv:2209.14733},
year = {2022}
}
备注
36th Conference on Neural Information Processing Systems (NeurIPS 2022). arXiv admin note: text overlap with arXiv:2207.10951