通过动力学模型嵌入分析神经网络群体
机器学习
2023-03-01 v1 动力系统
摘要
深度神经网络解释中的一个核心挑战是，识别为同一任务训练的不同网络所实现底层算法之间的共性。受此问题驱动，我们引入 DYNAMO，一种构建低维流形的算法，其中每个点对应一个神经网络模型，若两个对应神经网络执行相似的高层计算过程，则两点邻近。DYNAMO 以一组预训练神经网络为输入，输出一个元模型，该元模型可模拟集合中任意模型的隐藏态动力学及输出。待模拟的具体模型由元模型作为输入接受的模型嵌入向量确定；这些模型嵌入向量构成了对应于给定模型群体的流形。我们将 DYNAMO 应用于 RNN 和 CNN，发现所得的模型嵌入空间可实现新应用：基于高层计算过程对神经网络聚类，且对重参数化较不敏感；对为同一任务训练的若干神经网络进行模型平均，得到具有相似任务性能的新可用神经网络；以及通过模型嵌入空间上的优化进行半监督学习。利用在 RNN 群体上训练的元模型的不动点分析，我们深入理解了 RNN 动力学拓扑的相似性如何对应于其高层计算过程的相似性。
引用
@article{arxiv.2302.14078,
title = {Analyzing Populations of Neural Networks via Dynamical Model Embedding},
author = {Jordan Cotler and Kai Sheng Tai and Felipe Hernández and Blake Elias and David Sussillo},
journal= {arXiv preprint arXiv:2302.14078},
year = {2023}
}
备注
12+8 pages, 11 figures