超表示：从神经网络群体中学习

本论文旨在通过神经网络最基本的组成部分——权重（其封装了学习信息并决定模型行为）来理解神经网络。本论文的核心问题为：能否从神经网络模型群体中学习通用、任务无关的表示？本论文为回答此问题提供的关键贡献是超表示（hyper-representations），这是一种从神经网络权重中学习表示的自监督方法。本论文中的工作发现，训练好的神经网络模型确实在权值空间中占据有意义的结构，这些结构是可被学习和使用的。通过大量实验，本论文表明超表示能够揭示模型属性，如其性能、训练状态或超参数。此外，超表示空间中特定属性区域的识别允许对具有特定属性的模型权重进行采样和生成。本论文成功地展示了超表示在微调和迁移学习中的应用。最后，本论文提出了方法，使超表示能够超越模型规模、架构和任务的 generalization。其实际意义在于，为神经网络基础模型的构建开辟了道路，这类基础模型跨模型和跨架构地聚合和实例化其知识。最终，本论文通过探讨神经网络权值中结构，促进了对神经网络更深入的理解，使模型更具可解释性、更高效、更具可适应性。通过为神经网络权值的表示学习奠定基础，本研究展示了改变神经网络开发、分析和使用方式的潜力。