通过可微渲染生成语义反例分析与改进神经网络
机器学习
2020-07-21 v2 计算机视觉与模式识别
机器学习
摘要
尽管深度神经网络（DNN）在视觉相关任务上取得了显著成功，其性能对输入中的变换十分脆弱。特别令人感兴趣的是语义变换，其建模了物理世界中具有依据的变化，如旋转、平移、光照或相机位姿的改变。本文展示了如何利用可微渲染生成信息丰富且逼真的图像，用于分析 DNN 性能并通过数据增强提升其鲁棒性。给定可微渲染器和 DNN，我们展示如何使用对抗机器学习中现成的攻击来生成语义反例——即语义特征被改变以产生误分类或漏检的图像。我们在图像分类和物体检测的 DNN 上验证了该方法。对于分类，我们表明语义反例在用于数据集增强时，（i）提升泛化性能，（ii）增强对语义变换的鲁棒性，以及（iii）在模型间迁移。此外，与基于采样的语义增强相比，我们的技术以样本高效的方式生成更具信息量的数据。
引用
@article{arxiv.1910.00727,
title = {Analyzing and Improving Neural Networks by Generating Semantic Counterexamples through Differentiable Rendering},
author = {Lakshya Jain and Varun Chandrasekaran and Uyeong Jang and Wilson Wu and Andrew Lee and Andy Yan and Steven Chen and Somesh Jha and Sanjit A. Seshia},
journal= {arXiv preprint arXiv:1910.00727},
year = {2020}
}