深度学习模型的表达能力与损失曲面

Simant Dube

深度学习模型的表达能力与损失曲面

机器学习 2021-11-23 v3 人工智能计算机视觉与模式识别机器学习

作者: Simant Dube

摘要

本文的目标有两个。第一个目标是作为一篇关于深度学习模型工作原理的阐述性教程，强调关于深度学习成功原因的几何直观。第二个目标是用新颖的见解和结果补充当前关于深度学习模型表达能力及其损失曲面的成果。特别地，我们描述了深度神经网络如何刻画流形，尤其是在引入乘法神经元时。乘法用于点积和注意力机制，并且被用于胶囊网络(capsule networks)和基于自注意力的 transformers 中。我们还描述了从随机多项式、随机矩阵、自旋玻璃以及计算复杂性视角看待损失曲面时，这些视角是如何相互关联的。

关键词

深度学习表达能力损失曲面乘法神经元几何直观注意力机制自旋玻璃

引用

@article{arxiv.2108.03579,
  title  = {Expressive Power and Loss Surfaces of Deep Learning Models},
  author = {Simant Dube},
  journal= {arXiv preprint arXiv:2108.03579},
  year   = {2021}
}

备注

27 Pages, Color Illustrations, Excerpt of and based on an AI book by the author

深度学习模型的表达能力与损失曲面

摘要

关键词

引用

备注

相关论文