前馈神经网络中的切空间可分离性
机器学习
2019-12-20 v1 机器学习
摘要
分层神经网络在具有相同表达能力时比其对应的“浅层”网络指数级更高效，但涉及海量参数且需要繁琐的训练。通过近似切子空间，我们提出了一种稀疏表示，能够在极早训练阶段后切换到浅层网络 GradNet。我们的实验表明，所提出的度量近似即使在原始前馈网络训练少数几个 epoch 后，也能显著改善甚至超越原始网络可达到的性能。
引用
@article{arxiv.1912.09306,
title = {Tangent Space Separability in Feedforward Neural Networks},
author = {Bálint Daróczy and Rita Aleksziev and András Benczúr},
journal= {arXiv preprint arXiv:1912.09306},
year = {2019}
}
备注
10 pages; accepted at Workshop "Beyond First-Order Optimization Methods in Machine Learning", 33rd Conference on Neural Information Processing Systems (NeurIPS 2019). arXiv admin note: substantial text overlap with arXiv:1807.06630