PACuna：面向粒子加速器的语言模型自动化微调
计算与语言
2023-11-28 v3
摘要
随着近期贡献的激增，在粒子加速器的领域中导航已变得愈发具有挑战性。这些复杂装置即便在单个设施内部也令人难以理解。为此，我们推出 PACuna——一个利用会议、预印本与书籍等公开加速器资源微调得到的语言模型。我们实现了数据收集与问题生成的自动化，以尽量减少专家参与，并使数据公开可用。PACuna 在应对复杂的加速器问题方面展现出熟练能力，并经专家验证。我们的方法表明，通过微调技术文本与捕捉最新进展的自动生成语料库将语言模型适配到科学领域，能够进一步产出可回答某些商业可用助手无法解答的复杂问题的预训练模型，并可作为单个设施的智能助手。
引用
@article{arxiv.2310.19106,
title = {PACuna: Automated Fine-Tuning of Language Models for Particle Accelerators},
author = {Antonin Sulc and Raimund Kammering and Annika Eichler and Tim Wilksen},
journal= {arXiv preprint arXiv:2310.19106},
year = {2023}
}