深度复数网络
神经与进化计算
2018-02-27 v4 机器学习
摘要
目前，深度学习的绝大多数构建模块、技术和架构都基于实值运算和表示。然而，近期关于循环神经网络的研究以及较早的基础理论分析表明，复数可能具有更丰富的表示能力，并可能促进噪声鲁棒的记忆检索机制。尽管复数深度神经网络具有吸引人的特性，并可能为全新神经架构打开大门，但由于缺乏设计此类模型所需的构建模块，它们一直被边缘化。在这项工作中，我们提供了复数深度神经网络的关键原子组件，并将其应用于卷积前馈网络和卷积LSTM。更精确地说，我们依赖复数卷积，提出了复数批量归一化、复数权值初始化策略的算法，并在端到端训练方案的实验中使用了它们。我们证明了此类复值模型与其实值对应模型具有竞争力。我们在多个计算机视觉任务、使用MusicNet数据集的音乐转录任务以及使用TIMIT数据集的语音频谱预测任务上测试了深度复数模型。我们在这些音频相关任务上取得了最先进的性能。
引用
@article{arxiv.1705.09792,
title = {Deep Complex Networks},
author = {Chiheb Trabelsi and Olexa Bilaniuk and Ying Zhang and Dmitriy Serdyuk and Sandeep Subramanian and João Felipe Santos and Soroush Mehri and Negar Rostamzadeh and Yoshua Bengio and Christopher J Pal},
journal= {arXiv preprint arXiv:1705.09792},
year = {2018}
}