DiTOX：ONNX 优化器中的故障检测与定位

ONNX 优化器是官方 ONNX 仓库的一部分，被广泛用于图级模型优化，并默认用于优化 ONNX 模型。尽管其应用广泛，但其保持模型正确性的能力尚未得到系统性评估。我们提出了 DiTOX，这是一个自动化框架，利用差分测试、故障定位和可推广至其他编译器优化器的评估技术，全面评估 ONNX 优化器的正确性。DiTOX 对一组 ONNX 模型应用优化遍，在用户定义的输入上执行原始版本和优化版本，并检测行为差异或优化器故障。当观察到分歧时，DiTOX 通过迭代的细粒度分析隔离出负责的优化遍。我们在来自 ONNX 模型库的 130 个模型上评估了 DiTOX，这些模型涵盖视觉和语言任务。我们发现，在默认设置下，9.2% 的模型实例导致优化器崩溃或产生无效模型。此外，30% 的分类模型以及 16.6% 的目标检测和分割模型出现了输出差异，而基于文本的模型则基本稳健。总体而言，DiTOX 发现了 15 个问题——其中 14 个是此前未知的——影响了 47 个优化遍中的 9 个以及优化器基础设施。所有问题均已报告给 ONNX 优化器开发者。我们的结果表明，DiTOX 为验证 AI 模型优化器提供了一种简单有效的方法，并且易于扩展到 ONNX 之外。