引导恰当的内部表示可简化神经网络训练
机器学习
2019-11-19 v1 机器学习
摘要
关于神经网络的一个常见假设是它们能够自行学习恰当的内部表示，例如端到端学习。本工作挑战了这一假设。我们考虑两个简单任务，并表明尽管模型本身能够表示恰当的解决方案，最先进的训练算法却失败了。我们将证明，引导恰当的内部表示可使同一模型解决这些任务。虽然我们并不声称通过其他手段（如层数更多的神经网络）无法解决这些任务，但我们的结果说明，以期望的内部表示形式整合领域知识可提升神经网络的泛化能力。
引用
@article{arxiv.1911.07245,
title = {Encouraging an Appropriate Representation Simplifies Training of Neural Networks},
author = {Krisztian Buza},
journal= {arXiv preprint arXiv:1911.07245},
year = {2019}
}