NeuSemSlice：面向有效DNN模型维护的神经元级语义切片
机器学习
2025-07-29 v2 软件工程
摘要
深度神经网络(DNN)广泛应用于各个领域，其特征为集成性和单体化架构，与传统软件系统不同。这一架构差异为维护任务（如模型重构(例如模型压缩)、再适应(例如适配新样本)、增量开发(例如持续知识积累)）带来特定挑战。先前的研究通过识别任务关键神经层，将神经网络划分为语义相似的顺序模块。然而，这类层级方法未能精确识别和操作神经元级语义组件，限制了其针对更细粒度模型维护任务的适用性。本文实现了 NeuSemSlice，一种新型框架，引入语义切片技术，有效识别DNN模型中关键神经元级语义组件，以进行语义感知的模型维护。具体而言，语义切片根据语义相似性识别、分类和合并跨不同类别和层的关键神经元，使其在后续任务中具备灵活性和有效性。为语义感知的模型维护任务，我们提供了一系列基于语义切片的新策略，以增强 NeuSemSlice。这些包括针对模型重构的关键神经元保存、针对模型再适应的关键神经元调谐以及针对模型增量开发的非关键神经元训练。全面评估表明，NeuSemSlice 在所有三个任务中均显著优于基线方法。
引用
@article{arxiv.2407.20281,
title = {NeuSemSlice: Towards Effective DNN Model Maintenance via Neuron-level Semantic Slicing},
author = {Shide Zhou and Tianlin Li and Yihao Huang and Ling Shi and Kailong Wang and Yang Liu and Haoyu Wang},
journal= {arXiv preprint arXiv:2407.20281},
year = {2025}
}