理解向量值神经网络及其与实值与超复数值神经网络的关系
机器学习
2024-08-02 v2 神经与进化计算
摘要
尽管深度学习模型在多维信号与图像处理中有诸多成功应用，大多数传统神经网络处理由实数（多维）数组表示的数据。特征通道间的相互关联通常期望从训练数据中学习，需要大量参数与细致训练。相比之下，向量值神经网络旨在处理向量数组，并自然考量特征通道间的相互关联。因此，它们通常比传统神经网络参数更少，且训练往往更鲁棒。本文旨在提出一个称为 V-nets 的向量值神经网络广泛框架。在此语境下，超复数值神经网络被视为具有附加代数性质的向量值模型。此外，本文阐释了向量值与传统神经网络间的关系。确切地说，向量值神经网络可通过在实值模型上施加限制以考量特征通道间相互关联而得到。最后，我们展示了包括超复数值神经网络在内的 V-nets 如何作为实值网络在现有深度学习库中实现。
引用
@article{arxiv.2309.07716,
title = {Understanding Vector-Valued Neural Networks and Their Relationship with Real and Hypercomplex-Valued Neural Networks},
author = {Marcos Eduardo Valle},
journal= {arXiv preprint arXiv:2309.07716},
year = {2024}
}
备注
Accepted for publication in IEEE Signal Processing Magazine