量化图像分类流水线中计算步骤、算法与超参数选择的误差贡献与传播
计算机视觉与模式识别
2019-03-04 v1 机器学习
机器学习
摘要
数据科学依赖于以相互依赖的计算步骤形式组织的流水线。每个步骤包含可用于执行特定功能的多种候选算法。每种算法包含若干超参数。算法与超参数必须作为整体优化以产生最佳性能。典型的机器学习流水线在每个步骤中均包含复杂算法。不仅选择过程是指数组合的，解释和理解流水线也十分重要。我们提出一种方法，通过计算相对于计算步骤、算法和超参数的不可知选择的误差贡献，来量化流水线中不同组件的重要性。我们还提出一种方法，借助未参与流水线的朴素基准算法集，量化误差从流水线各组件的传播。我们在图像分类流水线上演示了我们的方法。不可知与朴素方法分别量化了图像分类流水线中计算步骤、算法和超参数的误差贡献与传播。我们表明，网格搜索、随机搜索和贝叶斯优化等算法选择与超参数优化方法可用于量化误差贡献与传播，且随机搜索比贝叶斯优化能更准确地量化它们。该方法论可被领域专家用于从各组件角度理解机器学习和数据分析流水线，从而有助于对流水线不同组件排定优先级。
引用
@article{arxiv.1903.00405,
title = {Quantifying contribution and propagation of error from computational steps, algorithms and hyperparameter choices in image classification pipelines},
author = {Aritra Chowdhury and Malik Magdon-Ismail and Bulent Yener},
journal= {arXiv preprint arXiv:1903.00405},
year = {2019}
}