ArchRepair：面向深度神经网络块级架构的修复
机器学习
2021-12-14 v2 人工智能
计算机视觉与模式识别
摘要
过去几年中，深度神经网络(DNNs)取得了巨大成功，并持续应用于众多应用领域。然而，在工业任务实际部署中，由于过拟合、实际使用中缺乏针对真实世界扰动的鲁棒性等原因，DNNs被发现易于出错。为应对这些挑战，近期许多尝试通过再训练、微调或在神经元层面直接修复权重（即网络参数）来修复DNNs以用于实际运行环境下的版本更新。在这项工作中，作为首次尝试，我们发起在更高（即块）层级联合优化架构与权重来修复DNNs。我们首先进行实证研究以考察整网络级与层级的修复局限，这促使我们探索一种块级DNN修复的新方向。为此，我们首先提出考虑前向与反向过程中块内神经元状态与权重梯度的对抗感知谱分析，用于脆弱块定位，其即便在少量样本下也能实现更精确的候选块定位以供修复。进而，我们进一步提出面向架构的基于搜索的修复，将目标块松弛至更高深层特征上的连续修复搜索空间。通过在该空间中联合优化架构与权重，我们能识别出更优的块架构。我们将提出的修复技术实现为名为ArchRepair的工具，并开展大量实验验证所提方法。结果表明，我们的方法不仅能修复，还能提升准确率与鲁棒性，优于最先进的DNN修复技术。
引用
@article{arxiv.2111.13330,
title = {ArchRepair: Block-Level Architecture-Oriented Repairing for Deep Neural Networks},
author = {Hua Qi and Zhijie Wang and Qing Guo and Jianlang Chen and Felix Juefei-Xu and Lei Ma and Jianjun Zhao},
journal= {arXiv preprint arXiv:2111.13330},
year = {2021}
}
备注
33 pages, 7 figures