预训练深度学习模型在科学过程中的复用实证研究
软件工程
2026-03-17 v1 人工智能
摘要
深度学习因其在自然科学中的影响而获得了广泛认可，但由于训练特定项目模型的高昂技术成本和计算复杂度，科学家们受限于此。遵循软件工程社区的指导方针，自然科学家们正在复用预训练深度学习模型(PTMs)来分摊这些成本。虽然先前的工作推荐了PTMs复用模式，但据我们了解，迄今为止几乎没有工作对其在自然科学中的使用和影响进行实证评估。我们present了PTMs在自然科学中复用模式的首个实证研究，量化了概念性、适应性和部署复用在科学过程中的利用情况和影响。我们利用自动化的大语言模型驱动的管道分析17,511篇同行评审、开放获取的论文，以识别PTMs在不同科学领域的复用情况、相关的复用模式以及PTMs集成到科学过程中的影响，时间范围为2000年1月1日至2025年12月10日。我们的结果显示，“生化、遗传学和分子生物学”在PTMs复用方面超过其他自然科学领域，“适应性”复用是所有自然科学领域中最常见的PTMs复用模式，而“测试”阶段是PTMs集成对科学过程影响最大的阶段。这与利用计算方法进行高通量、数据驱动科学研究日益受到关注的趋势相吻合。我们的工作表征并识别了自然科学中当前的PTMs复用实践，评估了其对科学过程的影响，并为未来关于PTMs复用实施及其更广泛科学影响的工作奠定了基础。
引用
@article{arxiv.2603.13584,
title = {An Empirical Investigation of Pre-Trained Deep Learning Model Reuse in the Scientific Process},
author = {Nicholas M. Synovic and Karolina Ryzka and Alessandra V. Vellucci Solari and Kenny Lyons and James C. Davis and George K. Thiruvathukal},
journal= {arXiv preprint arXiv:2603.13584},
year = {2026}
}
备注
22 pages, 7 figures, 4 tables