PHNNs：基于参数化超复数卷积的轻量级神经网络
机器学习
2022-12-16 v2 人工智能
计算机视觉与模式识别
摘要
超复数神经网络已被证明可利用 Clifford 代数的性质在确保可观性能的同时减少总体参数量。近来，通过引入高效的参数化 Kronecker 积，超复数线性层得到了进一步改进。本文中，我们定义了超复数卷积层的参数化，并提出了参数化超复数神经网络（PHNNs）族，其是轻量级且高效的大规模模型。我们的方法直接从数据中掌握卷积规则与滤波器组织，而无需遵循严格预定义的域结构。PHNNs 可灵活地在任意用户定义或调优的域中运行，从 1D 到 D 皆可，无论代数规则是否预设。这种可塑性允许在其自然域中处理多维输入而无需像四元数神经网络处理彩色图像等 3D 输入时那样附加额外维度。因此，相较于实域中的对应模型，所提出的 PHNNs 族以 的自由参数运行。我们通过在多个图像数据集以及音频数据集上开展实验展示了该方法在多种应用域中的通用性，其中我们的方法优于实值与四元数值的对应模型。完整代码见：https://github.com/eleGAN23/HyperNets。
引用
@article{arxiv.2110.04176,
title = {PHNNs: Lightweight Neural Networks via Parameterized Hypercomplex Convolutions},
author = {Eleonora Grassucci and Aston Zhang and Danilo Comminiello},
journal= {arXiv preprint arXiv:2110.04176},
year = {2022}
}
备注
Submitted to IEEE Transactions on Neural Networks and Learning Systems