具有非参数激活函数的复值神经网络
神经与进化计算
2018-02-23 v1
摘要
复值神经网络（CVNNs）是对于数据可自然以复数解释的领域的强大建模工具。然而，复域的若干解析性质（如全纯性）使得 CVNNs 的设计比其实数对应物更具挑战性。本文中，我们考虑复域中灵活激活函数（AFs）问题，即赋予足够自由度以根据训练数据调整其形状的 AFs。虽然该问题在实值情形已受到相当关注，CVNNs 的文献极为有限，其中多数激活函数一般以分离方式（即分别考虑激活的实部和虚部）或简单相位-幅度技术开发。利用最近提出的核激活函数（KAFs）及复值核设计的相关进展，我们提出首个完全复值、非参数的 CVNNs 激活函数，其基于具有固定字典的核展开，可在向量化硬件上高效实现。在包括预测与信道均衡的常见用例上的若干实验验证了我们的方案相较于实值神经网络与具有固定激活函数的 CVNNs 的优越性。
引用
@article{arxiv.1802.08026,
title = {Complex-valued Neural Networks with Non-parametric Activation Functions},
author = {Simone Scardapane and Steven Van Vaerenbergh and Amir Hussain and Aurelio Uncini},
journal= {arXiv preprint arXiv:1802.08026},
year = {2018}
}
备注
Submitted to IEEE Transactions on Emerging Topics in Computational Intelligence