复数值 Transformer 架构的构建模块
机器学习
2023-06-19 v1 计算机视觉与模式识别
神经与进化计算
摘要
大多数深度学习流程建立在实值运算之上，以处理图像、语音或音乐信号等实值输入。然而，许多应用天然利用复值信号或图像，例如 MRI 或遥感。此外，信号的傅里叶变换是复值的，并有大量应用。我们旨在使深度学习直接适用于这些复值信号，而不使用向 的投影。因此，我们通过提出将 Transformer 架构迁移到复域的构建模块，对近期复值神经网络的发展做出补充。我们提出了多个版本的复值缩放点积注意力机制以及一种复值层归一化。我们在 MusicNet 数据集上的分类与序列生成任务中进行测试，结果表明与实值 Transformer 架构相比，在保持相当性能的同时提升了对过拟合的鲁棒性。
引用
@article{arxiv.2306.09827,
title = {Building Blocks for a Complex-Valued Transformer Architecture},
author = {Florian Eilers and Xiaoyi Jiang},
journal= {arXiv preprint arXiv:2306.09827},
year = {2023}
}
备注
ICASSP 2023-2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2023