池化对表示几何的影响
机器学习
2017-03-21 v1
摘要
在机器学习和神经科学中，某些计算结构和算法已知能够产生解耦表示，但我们并不理解其原因，或许最引人注目的例子是卷积神经网络以及人类和灵长类动物视觉皮层的腹侧流。对于后者，有猜想认为表示可能通过渐进式且在局部尺度上的扁平化而解耦。最近有人尝试将不变性在学习表示中的作用形式化，称为 I-theory。在此框架下并使用微分几何的语言，我们证明了在输入变换群上的池化会收缩度量并降低其曲率，且给出了定量界限，旨在朝着理论上理解如何解耦表示迈进。
引用
@article{arxiv.1703.06726,
title = {On the effect of pooling on the geometry of representations},
author = {Gary Bécigneul},
journal= {arXiv preprint arXiv:1703.06726},
year = {2017}
}