ReLU 神经网络的拓扑表达能力

我们从拓扑视角研究 ReLU 神经网络在二分类问题中的表达能力。近来实证研究表明，神经网络通过改变拓扑来运作，将拓扑复杂的数据集在其层间传递时转化为拓扑更简单的集。这种拓扑简化已由 Betti 数（拓扑空间的代数不变量）度量。我们使用同一度量建立给定架构的 ReLU 神经网络所能实现的拓扑简化的下界与上界。因此，通过阐明其对数据底层拓扑结构的捕捉能力，我们增进了对二分类问题中 ReLU 神经网络表达能力的理解。特别地，结果表明深层 ReLU 神经网络在拓扑简化方面比浅层网络呈指数级强大。这为更深网络为何更擅长处理复杂且拓扑丰富的数据集提供了数学上严谨的解释。