基于对比样本的深度网络泛化性能鲁棒性实用评估
机器学习
2021-06-22 v1 计算机视觉与模式识别
摘要
带有数据变换的训练图像已被建议作为对比样本，以补充测试集用于深度神经网络（DNN）的泛化性能评估。在这项工作中，我们提出一个实用框架ContRE（"contre"在法语中意为"对抗"或" versus"）。该框架使用对比样本进行DNN泛化性能估计（The word "contre" means "against" or "versus" in French.）。具体而言，ContRE遵循对比学习中的假设，即具有良好泛化性能的鲁棒DNN模型能够从同一图像在不同数据变换下提取一致的特征集并做出一致的预测。结合训练集上一组精心设计的数据变换的随机化策略，ContRE采用所生成对比样本上的分类误差与Fisher比率，来补充测试集评估和深入分析深度模型的泛化性能。为展示ContRE的有效性与效率，我们在三个开源基准数据集上使用多种DNN模型进行了大量实验，包含充分的消融研究与应用性分析。我们的实验结果证实：（1）深度模型在对比样本上的行为与在测试集上的行为强相关；（2）ContRE是各种设置下补充测试集的鲁棒泛化性能度量。
引用
@article{arxiv.2106.10653,
title = {Practical Assessment of Generalization Performance Robustness for Deep Networks via Contrastive Examples},
author = {Xuanyu Wu and Xuhong Li and Haoyi Xiong and Xiao Zhang and Siyu Huang and Dejing Dou},
journal= {arXiv preprint arXiv:2106.10653},
year = {2021}
}