由传递熵加速的卷积神经网络学习
机器学习
2024-04-05 v1 人工智能
信息论
math.IT
摘要
近期，人们对应用传递熵（TE）量化人工神经元之间的有效连接性产生了越来越浓厚的兴趣。在前馈网络中，TE 可用于量化位于不同层的神经元输出对之间的关系。我们的重点是如何将 TE 纳入卷积神经网络（CNN）架构的学习机制中。我们为 CNN 架构引入了一种集成 TE 反馈连接的新型训练机制。添加 TE 反馈参数可加速训练过程，因为所需的 epoch 更少。另一方面，它增加了每个 epoch 的计算开销。根据我们在 CNN 分类器上的实验，为了在合理的计算开销与准确率之间取得平衡，仅考虑最后两个全连接层中神经元对随机子集的神经元间信息传递是高效的。TE 充当平滑因子，产生稳定性，并且仅周期性激活，而不是在处理每个输入样本后激活。因此，我们可以认为 TE 在我们的模型中是一个缓慢变化的元参数。
引用
@article{arxiv.2404.02943,
title = {Learning in Convolutional Neural Networks Accelerated by Transfer Entropy},
author = {Adrian Moldovan and Angel Caţaron and Răzvan Andonie},
journal= {arXiv preprint arXiv:2404.02943},
year = {2024}
}