NeuRecover：利用训练历史进行回归可控的深度神经网络修复
机器学习
2022-03-07 v2 神经与进化计算
软件工程
摘要
鉴于包括安全关键应用在内的实际需求不断增长，提升深度神经网络（DNNs）质量的系统性技术至关重要。关键挑战来自 DNN 更新中极小的可控性。为修复某些行为而进行的重训练常对其他行为产生破坏性影响，导致回归，即更新后的 DNN 无法处理原模型正确处理的输入。当工程师需在安全或信任相关的密集保证活动中排查故障时，该问题尤为关键。基于搜索的 DNN 修复技术有望通过仅对 DNN 内部“责任参数”进行局部化更新来应对此挑战。然而，其在实现充分可控性以抑制 DNN 修复任务中回归方面的潜力尚未被发掘。本文提出一种新颖的 DNN 修复方法，利用训练历史来判断应更改或不应更改哪些 DNN 参数以抑制回归。我们将该方法实现为名为 NeuRecover 的工具，并使用三个数据集进行评估。我们的方法优于现有方法，通常将回归数量降至四分之一以下，某些情况下甚至降至十分之一。当修复需求严格限定于特定失败类型时，我们的方法尤其有效。在此类情况下，我们的方法展现出稳定较低的回归率（<2%），多为重训练所引发回归的十分之一。
引用
@article{arxiv.2203.00191,
title = {NeuRecover: Regression-Controlled Repair of Deep Neural Networks with Training History},
author = {Shogo Tokui and Susumu Tokumoto and Akihito Yoshii and Fuyuki Ishikawa and Takao Nakagawa and Kazuki Munakata and Shinji Kikuchi},
journal= {arXiv preprint arXiv:2203.00191},
year = {2022}
}