基于闭环控制的自修复鲁棒神经网络

尽管神经网络应用广泛，其脆弱性问题日益引发关注。虽已提出众多攻击与防御技术，本文从新角度研究鲁棒性：我们能否设计一种可自动检测并修复自身漏洞的自修复神经网络？典型的自修复机制是人体免疫系统。这一受生物学启发的想法已用于诸多工程设计，但在深度学习中鲜有探讨。本文考虑神经网络的训练后自修复，并提出一种闭环控制表述，以自动检测并修复由各类攻击或扰动引起的错误。我们提供基于间隔的分析来解释该表述如何提升分类器的鲁棒性。为加速所提自修复网络的推理，我们通过改进基于 Pontryagin Maximum Principle 的求解器来解决控制问题。最后，我们给出该框架在具有非线性激活函数的神经网络上的误差估计。我们在多种网络架构上针对各类扰动验证了性能。由于自修复方法无需关于数据扰动/攻击的先验信息，其可处理广泛类别的未知扰动。