分段线性神经网络与深度学习
机器学习
2022-06-22 v1
摘要
作为一种强大的建模方法，分段线性神经网络（PWLNN）已在多个领域取得成功，最近在深度学习中尤为突出。为了应用 PWLNN 方法，其表示和学习长期以来一直得到研究。1977 年，规范表示开创了通过增量设计学习浅层 PWLNN 的先河，但其在大规模数据上的应用受到限制。2010 年，整流线性单元（ReLU）推动了 PWLNN 在深度学习中的普及。此后，PWLNN 已成功应用于广泛的任务并取得了优越的性能。在本入门综述中，我们通过将相关工作分为浅层网络和深层网络，系统地介绍了 PWLNN 的方法论。首先，通过详细示例构建了不同的 PWLNN 表示模型。针对 PWLNN，展示了数据学习算法的演进，并随后进行了基础理论分析以加深理解。然后，介绍了代表性应用，并附有讨论与展望。
引用
@article{arxiv.2206.09149,
title = {Piecewise Linear Neural Networks and Deep Learning},
author = {Qinghua Tao and Li Li and Xiaolin Huang and Xiangming Xi and Shuning Wang and Johan A. K. Suykens},
journal= {arXiv preprint arXiv:2206.09149},
year = {2022}
}
备注
23 pages, 6 figures