使用任意双线性乘积的 N 维向量值神经元反向传播
机器学习
2018-05-25 v1 计算机视觉与模式识别
机器学习
摘要
向量值神经学习近来已成为深度学习中有前景的方向。传统上，神经网络的训练数据被表述为标量向量；然而其性能可能并非最优，因为相邻标量间的关联未被建模。本文提出一种称为任意双线性乘积神经网络（ABIPNN）的新向量神经架构，其在每个神经元中以向量处理信息，且前馈投影由任意双线性乘积定义。此类双线性乘积可包括循环卷积、七维向量积、斜循环卷积、逆时循环卷积，或以往工作中未出现的其他新乘积。作为概念验证，我们将所提网络应用于多光谱图像去噪与歌声分离。实验结果表明，与传统神经网络相比，ABIPNN 获得实质性改进，表明关联在训练中被学习到。
引用
@article{arxiv.1805.09621,
title = {Backpropagation with N-D Vector-Valued Neurons Using Arbitrary Bilinear Products},
author = {Zhe-Cheng Fan and Tak-Shing T. Chan and Yi-Hsuan Yang and Jyh-Shing R. Jang},
journal= {arXiv preprint arXiv:1805.09621},
year = {2018}
}
备注
14 pages, 8 figures, 3 tables