HuggingFace社区中的深度学习模型复用:挑战、收益与趋势
软件工程
2024-01-25 v1 计算机与社会
机器学习
摘要
大规模预训练模型(Pre-Trained Models, PTMs)的普及率不断上升,引发了人们对模型中心以及托管PTMs的专用平台的兴趣。尽管存在这一趋势,但对用户遇到的挑战以及社区如何利用PTMs的全面探索仍然缺乏。为了填补这一空白,我们以最大的公共模型中心HuggingFace的讨论论坛和模型中心为重点,进行了一项广泛的混合方法实证研究。基于我们的定性分析,我们提出了该社区内与PTM复用相关的挑战和收益的分类体系。随后,我们进行了一项定量研究,以追踪模型类型趋势和模型文档随时间的演变。我们的发现突出了普遍存在的挑战,例如对初学者用户的指导有限、在训练或推理中难以理解模型输出以及缺乏对模型的理解。我们还发现了模型之间有趣的趋势,其中一些模型尽管相关主题有所减少,但仍保持着较高的上传率。此外,我们发现尽管引入了模型文档工具,但其数量并未随着时间的推移而增加,导致用户在理解和选择模型时遇到困难。我们的研究揭示了以前未曾报道过的复用PTMs的新挑战,并为参与PTM复用的各类利益相关者提供了建议。
关键词
引用
@article{arxiv.2401.13177,
title = {Deep Learning Model Reuse in the HuggingFace Community: Challenges, Benefit and Trends},
author = {Mina Taraghi and Gianolli Dorcelus and Armstrong Foundjem and Florian Tambon and Foutse Khomh},
journal= {arXiv preprint arXiv:2401.13177},
year = {2024}
}
备注
Accepted by IEEE SANER 2024