面向深度学习系统的Effort-Optimized、Accuracy-Driven测试输入标注与验证：一种混合整数线性规划方法

软件系统日益包含基于深度学习（DL）的AI组件。可靠的系统测试需要接近完美的测试输入有效性和标签准确性，同时最小化人工effort。然而，DL社区 largely overlooked 构建高精度数据集的需求，因为DL训练通常对标注错误具有容忍性。这种挑战反映出更熟悉的软件工程关切，即构建接近100%准确性的高精度测试输入，同时控制相关成本。在本文中，我们引入了OPAL方法，通过人工辅助实现可配置的标注，以满足所需的准确性水平，同时最小化标注所需的手动effort。OPAL的主要贡献是一种混合整数线性规划（MILP） formulation，用于在满足指定准确性目标的前提下，最小化标注effort。为评估OPAL，我们在测试视觉系统的上下文中实例化了两种任务：自动标注测试输入和自动验证测试输入。我们的评估基于在九个数据集上进行的2500多次实验，比较了OPAL与八种基线方法的结果，显示OPAL依赖于其MILP formulation，实现了98.8%的平均准确率，同时将手动标注减少了一半以上。OPAL在所有九个数据集上均显著优于自动标注基线在标注准确率方面的表现，当所有方法都获得相同的手动标注预算时。对于自动测试输入验证，OPAL平均将手动effort减少28.8%，同时实现了比SOTA测试输入验证基线高出4.5%的准确率。最后，我们表明将OPAL与主动学习循环集成可实现额外的4.5%手动标注减少，而不影响准确率。