利用分拆代数快速计算置换等变层
机器学习
2023-03-14 v1 组合数学
表示论
机器学习
摘要
对输入置换具有等变或不变性的线性神经网络层构成了现代深度学习架构的核心构建模块。例子包括 DeepSets 的层，以及 transformer 注意力块和某些图神经网络中出现的线性层。置换等变线性层的空间可识别为某一对称群表示的不变子空间，近期工作通过给出一个基来参数化该空间，其向量是标准基元素关于对称群作用轨道的和。参数化为通过梯度下降学习置换等变线性层的权重提供了可能。置换等变线性层的空间是分拆代数的推广，分拆代数最初在统计物理中发现，与对称群的表示理论有深刻联系，上述基推广了所谓的分拆代数轨道基。我们给出了一个替代基，推广了分拆代数的图基，其计算优势源于构成该基的张量在低秩意义下自然分解为 Kronecker 积。正如乘以秩一矩阵远比乘以任意矩阵廉价，与这些低秩张量相乘也比与轨道基元素相乘廉价得多。最后，我们描述了实现与这些基元素相乘的算法。
引用
@article{arxiv.2303.06208,
title = {Fast computation of permutation equivariant layers with the partition algebra},
author = {Charles Godfrey and Michael G. Rawson and Davis Brown and Henry Kvinge},
journal= {arXiv preprint arXiv:2303.06208},
year = {2023}
}
备注
Comments welcome!