论深度学习模型及其内部表示的对称性
机器学习
2023-03-27 v5 人工智能
摘要
对称性是探索广泛复杂系统的基本工具。在机器学习中，对称性已在模型与数据中均被探讨。本文中我们试图将一类模型架构所产生的对称性与该类模型对数据的内部表示之对称性联系起来。为此我们计算了一组基本对称群，称之为模型的纠缠群（intertwiner groups）。我们通过一系列探测同架构模型间隐藏状态相似性的实验，将纠缠群与模型对数据的内部表示相连。我们的工作表明，网络的对称性会传播至该网络数据表示中的对称性，从而使我们能更好理解架构如何影响学习与预测过程。最后，我们推测对于 ReLU 网络，纠缠群或许能为集中于隐藏层激活基而非其任意线性组合进行模型可解释性探索这一常见做法提供合理性依据。
引用
@article{arxiv.2205.14258,
title = {On the Symmetries of Deep Learning Models and their Internal Representations},
author = {Charles Godfrey and Davis Brown and Tegan Emerson and Henry Kvinge},
journal= {arXiv preprint arXiv:2205.14258},
year = {2023}
}
备注
CG and DB contributed equally. V2: clarified relationship between $\mu_{\mathrm{CKA}}$ and existing instances of CKA. V3: more experiments, alternative stitching capacity comparison, GeLU intertwiner group. V4: minor typo corrections. V4: failure of PSD property for max kernel used in $\mu_{\mathrm{CKA}}$ (thanks to Derek Lim)