Hugging Face 深度学习模型注册库中预训练模型复用的实证研究
软件工程
2023-03-07 v1 人工智能
机器学习
摘要
深度神经网络（DNNs）正被采纳为软件系统的组件。随着最先进架构日益复杂，从零开始创建和专精化 DNNs 已变得愈发困难。遵循传统软件工程的路径，机器学习工程师已开始复用大规模预训练模型（PTMs）并针对下游任务微调这些模型。先前的工作研究了传统软件包的复用实践，以引导软件工程师进行更好的包维护和依赖管理。我们缺乏类似的知识基础来引导预训练模型生态系统中的行为。在本工作中，我们提出了首个关于 PTM 复用的实证研究。我们访谈了来自最流行 PTM 生态系统 Hugging Face 的 12 名从业者，以了解 PTM 复用的实践与挑战。基于这些数据，我们对 PTM 复用的决策过程进行建模。根据已识别的实践，我们描述了模型复用的有用属性，包括来源、可复现性和可移植性。PTM 复用的三大挑战是属性缺失、声称性能与实际性能之间的差异，以及模型风险。我们用 Hugging Face 生态系统中的系统性测量证实了这些已识别的挑战。我们的工作通过自动化测量有用属性和潜在攻击，为优化深度学习生态系统的未来方向提供了信息，并展望了关于模型注册库基础设施与标准化的未来研究。
引用
@article{arxiv.2303.02552,
title = {An Empirical Study of Pre-Trained Model Reuse in the Hugging Face Deep Learning Model Registry},
author = {Wenxin Jiang and Nicholas Synovic and Matt Hyatt and Taylor R. Schorlemmer and Rohan Sethi and Yung-Hsiang Lu and George K. Thiruvathukal and James C. Davis},
journal= {arXiv preprint arXiv:2303.02552},
year = {2023}
}
备注
Proceedings of the ACM/IEEE 45th International Conference on Software Engineering (ICSE) 2023