A3Rank：面向深度学习模型的增强对齐分析优先级排序技术
软件工程
2024-07-22 v1 人工智能
摘要
通过使用靠近决策边界的示例训练模型以提高其锐化程度是众所周知的做法。尽管如此，这些模型在生成预测方面仍然容易出错。在许多应用系统中，深度学习模型的推断通常由基于置信度的拒绝器（如置信度基于拒绝器）保护，以筛选置信度不足的样本。然而，这类基于置信度的拒绝器无法有效防御高置信度的错误样本。现有的测试用例优先级技术能够有效区分困惑样本和自信样本，以识别困惑样本中的错误样本，但在众多自信样本中将错误样本置于高优先级方面仍具有挑战。本文提出了 Rank，这是一种具有增强对齐分析的新型测试用例优先级技术，以解决此问题。Rank 生成每个测试样本的增强版本，并评估测试样本的预测结果与这些增强版本预测结果的对齐程度以及反之。我们的实验表明，Rank 能有效对那些逃避基于置信度拒绝器检查的错误样本进行排序排序，这在 top-ranked 样本的检测比率上显著超过对等技术，提升了 163.63%。我们还提供了一个框架来构建一种专注于增强这些拒绝器的检测器，以防御这些错误样本，而我们的检测器在防御成功率方面显著更高。
引用
@article{arxiv.2407.14114,
title = {A3Rank: Augmentation Alignment Analysis for Prioritizing Overconfident Failing Samples for Deep Learning Models},
author = {Zhengyuan Wei and Haipeng Wang and Qilin Zhou and W. K. Chan},
journal= {arXiv preprint arXiv:2407.14114},
year = {2024}
}