AcademicGPT：赋能学术研究
计算与语言
2023-11-22 v1
摘要
大语言模型（LLMs）已在各种自然语言处理任务中展现出卓越能力。然而，许多此类先进 LLM 是为广泛的通用目的应用而定制的。在本技术报告中，我们介绍了专为赋能学术研究而设计的 AcademicGPT。AcademicGPT 是一个源自 LLaMA2-70B 的持续训练模型。我们的训练语料主要包括学术论文、学位论文、部分学术领域内容、高质量中文数据及其他数据。尽管数据规模或许不算庞大，AcademicGPT 标志着我们迈向为研究领域定制的领域专用 GPT 的初步尝试。我们在若干既定公开基准（如 MMLU 和 CEval）以及一些专用学术基准（如 PubMedQA、SCIEval 及我们新创建的 ComputerScienceQA）上评估了 AcademicGPT，以展示其从通用知识能力、中文能力到学术能力的水平。基于 AcademicGPT 的基础模型，我们还开发了若干面向学术领域的应用，包括通用学术问答、AI 辅助论文阅读、论文评审以及 AI 辅助标题与摘要生成。
引用
@article{arxiv.2311.12315,
title = {AcademicGPT: Empowering Academic Research},
author = {Shufa Wei and Xiaolong Xu and Xianbiao Qi and Xi Yin and Jun Xia and Jingyi Ren and Peijun Tang and Yuxiang Zhong and Yihao Chen and Xiaoqin Ren and Yuxin Liang and Liankai Huang and Kai Xie and Weikang Gui and Wei Tan and Shuanglong Sun and Yongquan Hu and Qinxian Liu and Nanjin Li and Chihao Dai and Lihua Wang and Xiaohui Liu and Lei Zhang and Yutao Xie},
journal= {arXiv preprint arXiv:2311.12315},
year = {2023}
}
备注
Technical Report. arXiv admin note: text overlap with arXiv:2310.12081, arXiv:2310.10053 by other authors