面向可扩展认证鲁棒性及其他任务的自动扰动分析
机器学习
2020-10-27 v3 机器学习
摘要
基于线性松弛的神经网络扰动分析（LiRPA）在给定一定量输入扰动下计算输出神经元的可靠线性界，已成为鲁棒性验证与认证防御的核心组件。大多数基于LiRPA的方法聚焦于简单的前馈网络，且在扩展到其他架构时需要特定的手动推导与实现。本文中，我们开发了一个自动框架，通过将现有LiRPA算法（如CROWN）推广到一般计算图上，实现对任意神经网络结构的扰动分析。我们框架的灵活性、可微分性和易用性使我们能够在DenseNet、ResNeXt和Transformer等相当复杂的网络上取得基于LiRPA的认证防御的最优结果，而先前工作不支持这些网络。我们的框架还实现了损失融合，一种显著降低基于LiRPA的认证防御计算复杂度的技术。我们首次在Tiny ImageNet和Downscaled ImageNet上展示了基于LiRPA的认证防御，此前的方法因类别数相对较多而无法扩展到这些数据集。我们的工作还产生了一个开源库，供社区在无需太多LiRPA专业知识的情况下将LiRPA应用于认证防御之外的领域，例如，我们通过将LiRPA应用于网络参数，创建了一个可能具有平坦优化景观的神经网络。我们的开源库可在 https://github.com/KaidiXu/auto_LiRPA 获取。
引用
@article{arxiv.2002.12920,
title = {Automatic Perturbation Analysis for Scalable Certified Robustness and Beyond},
author = {Kaidi Xu and Zhouxing Shi and Huan Zhang and Yihan Wang and Kai-Wei Chang and Minlie Huang and Bhavya Kailkhura and Xue Lin and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:2002.12920},
year = {2020}
}