锥映射不动点及其在神经网络中的应用
动力系统
2022-09-09 v2 机器学习
一般拓扑
摘要
我们在不假设函数可伸缩性的条件下,导出锥映射不动点存在的条件。在文献中,单调性与可伸缩性在寻找干扰映射不动点的语境下常不可分。在应用中,此类映射由非负神经网络逼近。然而,事实证明,训练非负网络需要对模型权重施加人为约束。但在特定非负数据情况下,不能说若映射非负则其仅有非负权重。因此,我们考虑一般神经网络不动点存在问题,假设关于特定锥的切性条件。这并未放宽物理假设,因为即使假设输入输出非负,权重也可有(小但)小于零的值。此类性质(常见于神经网络权重可解释性论文中)导致与神经网络相关映射的单调性或可伸缩性假设被弱化。据我们所知,本文是首个研究该现象的工作。
引用
@article{arxiv.2207.09947,
title = {Fixed Points of Cone Mapping with the Application to Neural Networks},
author = {Grzegorz Gabor and Krzysztof Rykaczewski},
journal= {arXiv preprint arXiv:2207.09947},
year = {2022}
}