PolyNeuron：基于学习的多调和样条激活的自动神经元发现
神经与进化计算
2018-11-13 v1 人工智能
计算机视觉与模式识别
摘要
自动化深度神经网络架构设计近期受到大量关注。然而，作为深度神经网络基本构建模块之一的神经元并未同等受益。本研究提出 PolyNeuron，一种基于学习的多调和样条激活的新型自动神经元发现方法。具体而言，PolyNeuron 围绕学习由一组控制点刻画的多调和样条展开，这些样条表示深度神经网络中神经元的激活函数。我们称 PolyNeuron 的松弛变体为 PolyNeuron-R，其放宽了 PolyNeuron 所施加的约束，以降低自动发现神经元激活函数的计算复杂度。实验表明，PolyNeuron 与 PolyNeuron-R 在使用不同数据集（MNIST 与 CIFAR10）的多个网络架构（LeNet-5 与 ResNet-20）上均带来性能更优或相当的网路。因此，诸如 PolyNeuron 的自动神经元发现方法是值得探索的方向。
引用
@article{arxiv.1811.04303,
title = {PolyNeuron: Automatic Neuron Discovery via Learned Polyharmonic Spline Activations},
author = {Andrew Hryniowski and Alexander Wong},
journal= {arXiv preprint arXiv:1811.04303},
year = {2018}
}
备注
5 pages