基于极值理论的机器学习算法最坏情况收敛时间

本文利用极值统计来预测机器学习算法的最坏情况收敛时间。时序是ML系统关键的非功能属性，提供最坏情况收敛时间对于保证ML及其服务的可用性至关重要。然而，诸如最坏情况收敛时间（WCCT）等时序属性难以验证，因为（1）它们未编码在AI底层编程语言的语法或语义中，（2）它们的评估依赖于算法实现和底层系统，（3）它们的测量涉及不确定性和噪声。因此，流行的形式化方法和统计模型无法提供关于WCCT数量和可能性的丰富信息。我们的关键观察是，我们寻求的时序信息代表了执行时间的极端尾部。因此，极值理论（EVT）——一门专注于理解和预测结果尾部极值分布的统计学科——为建模和分析ML范式训练和推理阶段的WCCT提供了理想框架。基于EVT的数学工具，我们提出了一个预测ML最坏情况时序属性的实用框架。在一组线性ML训练算法上，我们表明EVT在预测WCCT方面比相关统计方法（如贝叶斯因子）具有更好的准确性。在更大的机器学习训练算法和深度神经网络推理集上，我们展示了EVT模型准确预测WCCT、其预期重现期及其可能性的可行性和实用性。