深度网络分区区域的快速精确枚举
机器学习
2024-01-23 v1 人工智能
摘要
分段仿射样条是对深度网络进行理论研究并为实践者提供实用指导的一种富有成效的表述。在该领域中，深度网络的输入映射表示为按区域划分的仿射映射，这些区域由模型架构隐式确定，并构成其输入空间的一个划分。该划分——涉及这一系列研究产生的所有结果——迄今为止仅在深度网络输入空间的 维切片上进行计算，或通过随机抽样进行估计。在本文中，我们提供了首个对深度网络分区区域进行精确枚举的并行算法。所提出的算法使人们能够最终评估常用近似方法（例如基于深度网络输入空间随机抽样的方法）的接近程度。我们的关键发现之一是，如果仅对具有“大”体积的区域感兴趣，则空间的均匀抽样非常高效；但如果同时希望发现划分的“小”区域，则均匀抽样的成本随深度网络输入空间维度呈指数级增长。另一方面，我们提出的方法的复杂度随输入维度和区域数量线性扩展。
引用
@article{arxiv.2401.11188,
title = {Fast and Exact Enumeration of Deep Networks Partitions Regions},
author = {Randall Balestriero and Yann LeCun},
journal= {arXiv preprint arXiv:2401.11188},
year = {2024}
}