减少深度神经网络中的翻转错误
机器学习
2022-03-17 v1
摘要
深度神经网络（DNNs）已广泛应用于人工智能的多个领域，包括计算机视觉与自然语言处理。DNN通常训练多个轮次，随后使用验证数据集选择某一轮次（我们简称为“最后一轮”）的DNN作为在未见样本上做预测的最终模型，而其通常在未见样本上无法达到完美准确率。一个有趣的问题是：“在最后一轮中被DNN误分类的测试（未见）样本，有多少在此前轮次中曾被DNN正确分类过？”本文通过实证研究了该问题，并在多个基准数据集上发现：最后一轮中误分类的样本绝大多数在此前曾被正确分类，即这些样本的预测从“正确”翻转为“错误”。受此观察启发，我们提出限制DNN在正确分类样本上的行为变化，以维持正确的局部边界，并大幅减少在未见样本上的翻转错误。在不同基准数据集与不同现代网络架构上的大量实验表明，所提出的翻转错误减少（FER）方法能显著提升DNN的泛化性、鲁棒性与可迁移性，且不引入任何额外网络参数或推理开销，仅带来可忽略的训练负担。
引用
@article{arxiv.2203.08390,
title = {Reducing Flipping Errors in Deep Neural Networks},
author = {Xiang Deng and Yun Xiao and Bo Long and Zhongfei Zhang},
journal= {arXiv preprint arXiv:2203.08390},
year = {2022}
}