深度神经网络之间的变换
机器学习
2021-01-15 v3 机器学习
摘要
我们提出通过尝试利用流形学习技术构建两个不同人工神经网络之间的数据驱动变换，来检验并在可能时确立它们之间的等价性。具体而言，我们采用带有类Mahalanobis度量的扩散映射(diffusion maps)。若构建成功，则可认为这两个网络属于同一等价类。我们首先讨论仅对两个网络输出之间的变换函数；进而考虑同时计入各网络若干内部神经元输出(激活值)的变换。一般而言，Whitney定理规定了重构第二个网络每一个特征所需从一个网络进行的测量次数。变换函数的构建依赖于对网络输入空间一致的内在表示。我们通过匹配以下神经网络对来说明我们的算法：训练用于学习(a)标量函数观测；(b)二维向量场观测；(c)运动三维物体(旋转的马)图像表示。在不同网络实例间构建此类等价类显然与迁移学习相关。我们也期望其在确立由不同仪器和不同研究组观测同一现象的不同基于机器学习(Machine Learning)的模型之间的等价性方面具有价值。
引用
@article{arxiv.2007.05646,
title = {Transformations between deep neural networks},
author = {Tom Bertalan and Felix Dietrich and Ioannis G. Kevrekidis},
journal= {arXiv preprint arXiv:2007.05646},
year = {2021}
}
备注
14 pages, 10 figures