Quokka: 面向材料科学的开源大型语言模型聊天机器人
计算与语言
2024-01-03 v1 人工智能
计算工程、金融与科学
摘要
本文介绍了一种专门用于材料科学的聊天机器人的开发，利用Llama-2语言模型，并在S2ORC数据集中材料科学领域的大量研究文章上继续预训练。该方法包括在超过一百万篇领域特定论文上的初始预训练阶段，随后进行指令微调以完善聊天机器人的能力。该聊天机器人旨在通过提供对材料科学领域查询的即时、上下文感知的响应来协助研究人员、教育工作者和学生。我们将四个训练好的检查点（7B、13B，带或不带聊天能力）免费提供给研究社区，网址为https://github.com/Xianjun-Yang/Quokka。
引用
@article{arxiv.2401.01089,
title = {Quokka: An Open-source Large Language Model ChatBot for Material Science},
author = {Xianjun Yang and Stephen D. Wilson and Linda Petzold},
journal= {arXiv preprint arXiv:2401.01089},
year = {2024}
}
备注
Work in progress