DiffRNN：循环神经网络的差分验证
机器学习
2020-07-21 v1 机器学习
摘要
循环神经网络（RNNs），如长短期记忆（LSTM）网络，已在图像处理、数据分类、语音识别以及作为自主系统控制器等多种应用中变得流行。在实际场景中，常需将此类 RNN 部署于资源受限平台（如手机或嵌入式设备）。由于此类组件的内存占用和能耗成为瓶颈，人们有兴趣使用一系列启发式技术压缩和优化此类网络。然而，这些技术不保证优化后网络的安全性（例如对抗输入）或优化网络与原网络的等价性。为解决该问题，我们提出 DIFFRNN，首个用于 RNN 的差分验证方法，以证明两个结构相似神经网络的等价性。现有的 ReLU 前馈神经网络差分验证工作不适用于 RNN，其中无法避免 Sigmoid 和 Tanh 等非线性激活函数。RNN 也带来独特挑战，如处理序列输入、复杂反馈结构以及门与状态间的交互。在 DIFFRNN 中，我们通过用线性约束界定非线性激活函数，然后求解约束优化问题以计算高维空间中非线性曲面上的紧致包围盒，克服了这些挑战。这些包围盒的可靠性随后使用 dReal SMT 求解器证明。我们在多种基准上展示了技术的实际效能，并表明 DIFFRNN 优于 POPQORN 等最先进的 RNN 验证工具。
引用
@article{arxiv.2007.10135,
title = {DiffRNN: Differential Verification of Recurrent Neural Networks},
author = {Sara Mohammadinejad and Brandon Paulsen and Chao Wang and Jyotirmoy V. Deshmukh},
journal= {arXiv preprint arXiv:2007.10135},
year = {2020}
}