通过模型再工程复用深度神经网络模型
软件工程
2023-08-01 v2 人工智能
摘要
训练深度神经网络（DNN）模型已成为当今软件开发中的一项重要任务，其在计算资源与时间上往往代价高昂。受软件复用的启发，通过复用现有模型来构建 DNN 模型近来受到越来越多的关注。已有的 DNN 模型复用方法存在两个主要局限：1）复用整个模型，而仅需模型一小部分功能（标签）时，会造成大量开销（例如推理的计算与时间成本）；2）模型复用会继承被复用模型的缺陷与弱点，从而使新系统面临安全攻击威胁。为解决上述问题，我们提出 SeaM，一种对训练好的 DNN 模型进行再工程以提升其复用性的工具。具体而言，给定目标问题与训练好的模型，SeaM 利用基于梯度的搜索方法搜索与该目标问题相关的模型权重。仅保留相关权重的再工程模型随后被复用以解决目标问题。在广泛使用的模型上的评估结果表明，SeaM 生成的再工程模型仅含原始模型 10.11% 的权重，推理时间减少 42.41%。对于目标问题，再工程模型在分类精度上甚至比原始模型高出 5.85%。此外，复用再工程模型相比复用整个模型平均少继承 57% 的缺陷。我们相信这种降低复用开销与缺陷继承的方法，是迈向实用模型复用的重要一步。
引用
@article{arxiv.2304.00245,
title = {Reusing Deep Neural Network Models through Model Re-engineering},
author = {Binhang Qi and Hailong Sun and Xiang Gao and Hongyu Zhang and Zhaotian Li and Xudong Liu},
journal= {arXiv preprint arXiv:2304.00245},
year = {2023}
}
备注
Accepted by ICSE'23