OAG-BERT：面向学术知识服务的统一骨干语言模型
计算与语言
2022-10-04 v3
摘要
学术知识服务通过提供大量高效的研究工具，极大地促进了科学事业的发展。然而，许多应用高度依赖特定模型和昂贵的人工标注来理解科学内容，阻碍了向实际产品的部署。为构建面向不同知识密集型学术应用的统一骨干语言模型，我们预训练了学术语言模型 OAG-BERT，其融合了开放学术图谱（OAG）——迄今最大的公开学术图谱——中的异构实体知识与科学语料。在 OAG-BERT 中，我们开发了预训练文本与实体数据的策略以及零样本推断技术。其零样本能力进一步缓解了昂贵标注的需求。OAG-BERT 已部署于实际应用场景，例如中国国家自然科学基金会（NSFC，中国最大的资助机构之一）的审稿人推荐功能，以及 AMiner 中的论文标注。所有代码与预训练模型均可通过 CogDL 工具包获取。
引用
@article{arxiv.2103.02410,
title = {OAG-BERT: Towards A Unified Backbone Language Model For Academic Knowledge Services},
author = {Xiao Liu and Da Yin and Jingnan Zheng and Xingjian Zhang and Peng Zhang and Hongxia Yang and Yuxiao Dong and Jie Tang},
journal= {arXiv preprint arXiv:2103.02410},
year = {2022}
}
备注
Accepted to KDD 2022