基于蜕变测试评估堆叠生成对抗网络的鲁棒性
软件工程
2021-10-05 v2 计算机视觉与模式识别
摘要
从自然语言合成照片级真实图像是计算机视觉中的挑战性问题之一。过去十年中提出了许多方法，其中改进的堆叠生成对抗网络（StackGAN-v2）已被证明能够生成反映输入文本描述中指定细节的高分辨率图像。本文旨在通过引入训练数据的变化来评估 StackGAN-v2 模型的鲁棒性和容错能力。然而，由于生成对抗网络（GAN）的工作原理，难以预测训练数据被修改时模型的输出。因此，本工作采用蜕变测试（Metamorphic Testing）技术，以多种意外训练数据集评估模型的鲁棒性。为此，我们首先实现 StackGAN-v2 算法并测试原作者提供的预训练模型，为实验建立基准真值。随后我们确定一个蜕变关系，并据此生成测试用例。进一步，基于先前测试结果的观察依次推导出蜕变关系。最后，我们综合所有蜕变关系实验的结果，发现 StackGAN-v2 算法易受带有显眼物体的输入图像影响，即使其与主要物体仅有最小重叠，这是 StackGAN-v2 模型的作者和用户均未报告的。所提出的蜕变关系可应用于其他文本到图像合成模型，不仅用于验证鲁棒性，还可帮助研究人员理解和解释机器学习模型的结果。
引用
@article{arxiv.2103.02870,
title = {Robustness Evaluation of Stacked Generative Adversarial Networks using Metamorphic Testing},
author = {Hyejin Park and Taaha Waseem and Wen Qi Teo and Ying Hwei Low and Mei Kuan Lim and Chun Yong Chong},
journal= {arXiv preprint arXiv:2103.02870},
year = {2021}
}
备注
8 pages, accepted at the 6th International Workshop on Metamorphic Testing (MET'21)