预训练深度神经网络间的差异：模型库可靠性的新威胁
软件工程
2023-03-07 v1 人工智能
机器学习
摘要
训练深度神经网络（DNNs）需要大量的时间和资源。一种加速部署的做法是使用预训练深度神经网络（PTNNs），通常来自模型库——即 PTNNs 的集合；然而，模型库的可靠性仍未被审视。在 PTNNs 的实现与性能缺乏行业标准的情况下，工程师无法自信地将它们集成到生产系统中。作为第一步，发现不同模型库之间 PTNNs 的潜在差异将揭示对模型库可靠性的威胁。先前的工作指出了深度学习系统在准确率方面存在的差异。然而，来自模型库的 PTNNs 在更广义可靠性度量方面尚未被探索。本工作测量了四个模型库中 36 个 PTNNs 在准确率、延迟和架构之间的显著差距。在前 10 大差异中，我们发现准确率差异为 1.23%–2.62%，延迟差异为 9%–131%。我们还发现了知名 DNN 架构（如 ResNet 和 AlexNet）中的架构不匹配。我们的发现呼吁未来在实证验证、自动化测量工具以及实现最佳实践方面开展工作。
引用
@article{arxiv.2303.02551,
title = {Discrepancies among Pre-trained Deep Neural Networks: A New Threat to Model Zoo Reliability},
author = {Diego Montes and Pongpatapee Peerapatanapokin and Jeff Schultz and Chengjun Gun and Wenxin Jiang and James C. Davis},
journal= {arXiv preprint arXiv:2303.02551},
year = {2023}
}
备注
Proceedings of the 30th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering: Ideas, Visions, and Reflections track (ESEC/FSE-IVR) 2022