深度学习中的超网络简述

超网络（简称 hypernets）是为另一神经网络（称为目标网络）生成权重的神经网络。它们已成为一种强大的深度学习技术，可带来更高的灵活性、适应性、动态性、更快的训练、信息共享与模型压缩。超网络在多种深度学习问题中展现出有前景的结果，包括持续学习、因果推断、迁移学习、权重剪枝、不确定性量化、零样本学习、自然语言处理与强化学习。尽管在不同问题设定中取得成功，目前尚无全面综述可向研究者介绍最新进展并协助使用超网络。为填补此空白，我们综述超网络的进展。我们给出使用超网络训练深度神经网络的示例，并提议基于五项设计准则对超网络分类：输入、输出、输入与输出的可变性以及超网络架构。我们还综述超网络在不同深度学习问题设定中的应用，随后讨论可有效采用超网络的一般场景。最后，我们讨论该领域尚未充分探索的挑战与未来方向。我们相信超网络有潜力革新深度学习领域。它们提供了一种设计与训练神经网络的新方式，并有可能提升深度学习模型在多种任务上的性能。通过本综述，我们旨在借助超网络激发深度学习的进一步进展。