AnchiBERT：面向古汉语理解与生成的预训练模型
计算与语言
2021-04-22 v2
摘要
古汉语是中华文化的精华。古汉语领域存在若干自然语言处理任务，如古文今译、诗歌生成与对联生成。以往研究通常使用严重依赖平行数据的监督模型。然而，大规模古汉语平行数据难以获取。为充分利用更易获得的古汉语单语语料，我们发布了 AnchiBERT，一个基于 BERT 架构、在大规模古汉语语料上训练的预训练语言模型。我们在语言理解与生成任务上评估了 AnchiBERT，包括诗歌分类、古文今译、诗歌生成与对联生成。实验结果表明，AnchiBERT 优于 BERT 及非预训练模型，并在所有任务中取得最先进的（state-of-the-art, SOTA）结果。
引用
@article{arxiv.2009.11473,
title = {AnchiBERT: A Pre-Trained Model for Ancient ChineseLanguage Understanding and Generation},
author = {Huishuang Tian and Kexin Yang and Dayiheng Liu and Jiancheng Lv},
journal= {arXiv preprint arXiv:2009.11473},
year = {2021}
}
备注
10 pages with 3 figures