神经网络的分解性

近期深度神经网络在视觉和自然语言处理任务中实现了最先进的性能。然而在实际应用中，大多数模型被视为单体化的黑箱函数，这限制了可维护性、组件级优化以及系统化测试和验证。尽管已有大量关于剪枝和经验性分解的工作，但领域仍缺乏一种原则性的语义概念，用来判定神经网络是否可以被有意义地分解。我们提出了神经分解性（neural decompositionality）这一概念，将其定义为神经网络架构上的语义保护抽象。我们的关键洞察在于，分解性应由沿模型决策边界保持语义行为所决定，这一边界支配分类结果。由此在原始模型与其组件之间建立了语义契约，使我们能够对分解进行严谨的表述。基于这一基础，我们开发了 SAVED（Semantic-Aware Verification-Driven Decomposition）框架，实现了所提出定义的 operationalization。SAVED 结合了对低逻辑边际输入的反例矿工、概率覆盖和结构感知剪枝，以构建保持决策边界语义的分解。我们在 CNN、语言 Transformer 和 Vision Transformer 上进行评估。结果显示，语言 Transformer 在分解后基本保持决策边界语义，而视觉模型经常违反分解性准则，表明其内在存在局限。总体而言，我们的工作将分解性确立为一个可形式化、可实证检验的属性，为对神经网络进行模块化推理提供了基础。