振荡傅里叶神经网络：一种用于序列处理的紧凑高效架构
神经与进化计算
2021-10-13 v2 机器学习
摘要
随着递归神经网络的最新进展，序列处理取得了巨大进步。然而，递归架构在训练期间面临梯度爆炸/消失的挑战，并且需要大量计算资源来执行随时间反向传播。此外，执行复杂序列任务通常需要大型模型。为应对这些挑战，我们提出了一种具有带时间变化分量的余弦激活的新型神经元模型用于序列处理。所提出的神经元为将序列输入投影到谱域提供了高效构建块，有助于以最少的额外模型参数和计算保留长期依赖。我们提出了一种基于该神经元的新型递归网络架构，称为振荡傅里叶神经网络，并将其应用于各类序列任务。我们证明，采用所提神经元模型的递归神经网络在数学上等价于应用于周期性激活的离散傅里叶变换的简化形式。特别地，训练中计算密集的随时间反向传播被消除，从而在多样化序列任务中实现最快训练同时达到最先进推理精度。例如，将所提模型应用于IMDB影评数据集的情感分析，在5个epoch内达到89.4%测试准确率，且模型尺寸相较LSTM减少超过35倍。所提出的新型RNN架构非常适合于资源受限硬件中的智能序列处理。
引用
@article{arxiv.2109.13090,
title = {Oscillatory Fourier Neural Network: A Compact and Efficient Architecture for Sequential Processing},
author = {Bing Han and Cheng Wang and Kaushik Roy},
journal= {arXiv preprint arXiv:2109.13090},
year = {2021}
}