自动旋转感知机
机器学习
2019-10-09 v2 机器学习
摘要
本文提出一种改进的感知机单元设计，以缓解梯度消失问题。该问题出现在使用有界激活函数训练深度多层感知机网络时。这种名为自动旋转感知机（ARP）的新神经元设计具有一种机制，通过避免感知机饱和来确保节点始终在激活函数的动态区域中运行。所提方法不改变每个神经元处学习到的推理结构。我们在一些使用 sigmoid 激活函数的网络架构中测试了使用 ARP 单元的效果。结果支持了我们的假设，即带有 ARP 单元的神经网络能比具有经典感知机的等价模型取得更好的学习性能。
引用
@article{arxiv.1910.02483,
title = {Auto-Rotating Perceptrons},
author = {Daniel Saromo and Elizabeth Villota and Edwin Villanueva},
journal= {arXiv preprint arXiv:1910.02483},
year = {2019}
}
备注
LatinX in AI Research Workshop at NeurIPS 2019