重新思考深度神经网络性能评估的Pareto前沿
机器学习
2022-09-23 v5 神经与进化计算
摘要
深度学习模型的性能优化通常通过手动、自动架构搜索或二者结合的方式进行。另一方面，其性能在很大程度上取决于目标硬件以及模型训练的成功程度。我们建议使用多维Pareto前沿来重新定义候选深度学习模型的效率度量，其中训练成本、推理延迟和准确率等多个变量在定义占优模型时发挥相对作用。此外，引入了多维Pareto前沿的随机版本，以缓解深度学习模型在不同实验设置下准确率、延迟和吞吐量的不确定性。这两种互补方法可以结合起来，对深度学习模型进行客观基准测试。我们将所提出的方法应用于在ImageNet数据上训练的广泛深度图像分类模型。该方法将具有随机性的竞争变量结合到单一的相对效率度量中。这使得能够对在不同硬件上高效运行的深度学习模型进行排名，并将推理效率与训练效率客观地结合起来。
引用
@article{arxiv.2202.09275,
title = {Rethinking Pareto Frontier for Performance Evaluation of Deep Neural Networks},
author = {Vahid Partovi Nia and Alireza Ghaffari and Mahdi Zolnouri and Yvon Savaria},
journal= {arXiv preprint arXiv:2202.09275},
year = {2022}
}