柔性发射器模型的理论探索
机器学习
2022-10-21 v2 人工智能
摘要
神经网络模型通常包含两个重要组件，即网络架构与神经元模型。尽管关于网络架构的研究十分丰富，但已开发的神经元模型寥寥无几，例如1943年提出的MP神经元模型与1950年代提出的脉冲神经元模型。近来，一种具有生物合理性的新神经元模型——柔性发射器(FT)模型被提出。它展现出 promising 的行为，特别是在时空信号上，即便仅简单嵌入到常见的前馈网络架构中。本文试图从理论上理解FT网络(FTNet)的性质。在温和假设下，我们表明：i) FTNet是通用逼近器；ii) FTNet的逼近复杂度可指数级小于常用的具有前馈/循环架构的实值神经网络，且在最坏情形下同阶；iii) FTNet的任意局部极小即全局极小，意味着有可能通过局部搜索算法识别全局极小。
引用
@article{arxiv.2111.06027,
title = {Theoretical Exploration of Flexible Transmitter Model},
author = {Jin-Hui Wu and Shao-Qun Zhang and Yuan Jiang and Zhi-Hua Zhou},
journal= {arXiv preprint arXiv:2111.06027},
year = {2022}
}
备注
45 pages, to be published in IEEE Transactions on Neural Networks and Learning Systems (TNNLS)