众包测试：派对何时结束？

诸如“多少测试才够”的权衡是软件工程中关键却具挑战性的项目决策。多数现有方法采用风险驱动或基于价值的分析来优先排序测试用例并最小化测试运行。然而，这些均不适用于新兴的众包测试范式，其中任务发布者通常无法控制在线众包工人的动态行为与不确定表现。在当前实践中，由于缺乏决策支持，何时关闭众包测试任务很大程度上靠猜测。本文旨在通过引入自动化决策支持来监测和确定关闭众包测试任务的恰当时机，以填补此空白。首先，本文基于工业数据集调研了众包测试任务关闭预测的必要性及可行性。随后，基于包括缺陷趋势、缺陷到达模型、捕获-重捕获模型在内的多种模型设计了 8 种关闭预测方法。最后，在中国最大众包测试平台之一的 218 个众包测试任务上进行了评估，结果显示以 49% 的成本节约可检测出中位 91% 的缺陷。