DANDI：以扩散模型作为深度神经网络输入的规范分布
软件工程
2025-02-06 v1 机器学习
摘要
意外充分性（Surprise Adequacy, SA）作为一种测试充分性度量已被广泛研究，它能有效引导软件工程师关注那些更可能揭示深度神经网络（DNN）意外行为的输入。直观而言，SA 是一种分布外度量，用于量化给定输入与训练数据之间的差异：若新输入与训练期间所见数据差异很大，则 DNN 更可能对该输入表现出意外行为。尽管 SA 已被广泛用作测试优先级排序方法，但其主要弱点在于计算该度量需要访问训练数据集，而这在实际应用场景中通常不被允许。我们提出了 DANDI 技术，该技术利用 Stable Diffusion 生成替代输入分布来计算 SA 值，无需原始训练数据。将 DANDI 应用于 CIFAR-10 和 ImageNet-1K 图像分类器的实证评估表明，基于合成数据计算的 SA 值与基于训练数据计算的值高度相关，ImageNet-1K 的 Spearman 秩相关系数为 0.852，CIFAR-10 为 0.881。此外，我们证明，在测试经 DeepMutation 变异的 DNN 模型时，DANDI 计算的 SA 值在输入优先级排序方面与使用训练数据计算的值同样有效。我们相信，DANDI 能显著提升 SA 在实际 DNN 测试中的可用性。
引用
@article{arxiv.2502.02910,
title = {DANDI: Diffusion as Normative Distribution for Deep Neural Network Input},
author = {Somin Kim and Shin Yoo},
journal= {arXiv preprint arXiv:2502.02910},
year = {2025}
}
备注
DeepTest 2025 Workshop