用于预训练与迁移学习的超表示
机器学习
2022-07-25 v1
摘要
在给定模型动物园的情况下学习神经网络权重的表示是一个新兴且具有挑战性的领域，具有从模型检查到神经架构搜索或知识蒸馏的许多潜在应用。最近，在模型动物园上训练的自编码器能够学习一种超表示，其捕获了动物园中模型的内在和外在属性。在这项工作中，我们将超表示扩展用于生成式用途，以采样新的模型权重作为预训练。我们提出了层-wise 损失归一化，并证明其对生成高性能模型至关重要，以及一种基于超表示经验密度的采样方法。使用我们的方法生成的模型具有多样性、高性能，并能够优于用于迁移学习的常规基线。我们的结果表明了通过超表示从模型动物园向新模型聚合知识的潜力，从而为新的研究方向铺平道路。
引用
@article{arxiv.2207.10951,
title = {Hyper-Representations for Pre-Training and Transfer Learning},
author = {Konstantin Schürholt and Boris Knyazev and Xavier Giró-i-Nieto and Damian Borth},
journal= {arXiv preprint arXiv:2207.10951},
year = {2022}
}