深度神经网络中通过解调实现的抽象学习
机器学习
2015-02-16 v1 神经与进化计算
摘要
受大脑启发，深度神经网络 (DNN) 被认为通过其分层架构学习抽象表示。然而，目前这一过程如何发生尚不清楚。在此，我们证明 DNN 通过解调过程学习抽象表示。我们引入了一种偏置 sigmoid 激活函数，并利用它表明当针对解调进行优化时，DNN 的学习和表现更好。我们的发现构成了 DNN 在实际应用中执行抽象学习的第一个明确证据。我们的发现也可能解释人脑中的抽象学习。
引用
@article{arxiv.1502.04042,
title = {Abstract Learning via Demodulation in a Deep Neural Network},
author = {Andrew J. R. Simpson},
journal= {arXiv preprint arXiv:1502.04042},
year = {2015}
}