ReLU 层的注入性：来自框理论的工具
机器学习
2024-12-02 v4
摘要
注入性是指映射不丢失信息且任何输入都可从其输出完美重建的特性。由于 ReLU 函数本质上通过硬阈值处理，这一属性与其在神经网络中注入性分析的挑战性密切相关，且尚未得到完全解决。本文从框理论的视角出发，旨在以全面方式表征 ReLU 层注入性行为，涉及三个关键要素：(i) 权重，(ii) 偏置，以及 (iii) 数据来源的域。关注实际应用，我们限制在有界域上，提出两种用于数值近似给定权重和数据域的最大偏置的方法。这些方法为该域上的 ReLU 层注入性提供了充分条件，并为研究 ReLU 层的信息损失提供了一种新颖的实用方法。最后，我们基于框理论的对偶概念推导出明确的重构公式。
引用
@article{arxiv.2406.15856,
title = {Injectivity of ReLU-layers: Tools from Frame Theory},
author = {Daniel Haider and Martin Ehler and Peter Balazs},
journal= {arXiv preprint arXiv:2406.15856},
year = {2024}
}