神经雕刻：通过剪枝与网络分析揭示神经网络中层次化模块化任务结构
机器学习
2023-10-31 v3
摘要
自然目标函数与任务通常表现出层次化模块化——它们可被分解为更简单的子函数，并以层次方式组织。此类子函数具有两个重要特征：它们拥有一组 distinct 的输入（输入可分离性），且它们在层次更高处被复用为输入（可复用性）。先前的研究已确立，本质稀疏的层次化模块化神经网络具有诸如学习效率、泛化、多任务学习和迁移等益处。然而，对于给定的任务，识别潜在的子函数及其层次结构可能具有挑战性。本工作的核心问题是：若我们使用足够深的神经网络学习一个任务，如何揭示该任务中潜在的子函数层次？作为起点，我们考察布尔函数领域，其中更易判断一个任务是否具有层次化模块化。我们提出一种基于迭代单元与边剪枝（在训练期间）并结合用于模块检测和层次推断的网络分析的方法。最后，我们证明该方法能够揭示广泛布尔函数及基于MNIST数字数据集的两个视觉任务的层次化模块化。
引用
@article{arxiv.2305.18402,
title = {Neural Sculpting: Uncovering hierarchically modular task structure in neural networks through pruning and network analysis},
author = {Shreyas Malakarjun Patil and Loizos Michael and Constantine Dovrolis},
journal= {arXiv preprint arXiv:2305.18402},
year = {2023}
}