由转移熵加速的前馈神经网络学习
机器学习
2021-05-03 v1 人工智能
摘要
当前的神经网络架构因所用数据集规模与复杂度的增长而很多时候更难训练。我们的目标是通过利用从神经网络推断出的因果关系来设计更高效的训练算法。转移熵（TE）最初作为一种信息转移度量被引入，用于量化事件（时间序列）间的统计相干性。后来它与因果性相关联，尽管二者并不相同。仅有少数论文报道了因果性或 TE 在神经网络中的应用。我们的贡献是一种信息论方法，用于分析前馈神经网络节点间的信息转移。该信息转移由反馈神经连接的 TE 度量。直观上，TE 度量网络中连接的相关性，而反馈放大此连接。我们引入一种反向传播类训练算法，利用 TE 反馈连接来提升其性能。
引用
@article{arxiv.2104.14616,
title = {Learning in Feedforward Neural Networks Accelerated by Transfer Entropy},
author = {Adrian Moldovan and Angel Caţaron and Răzvan Andonie},
journal= {arXiv preprint arXiv:2104.14616},
year = {2021}
}
备注
18 pages, 13 figures