一种用于提升领域特定NLP任务的统一知识图谱增强服务
计算与语言
2023-06-06 v2
摘要
通过将预训练过程聚焦于领域特定语料,一些领域特定的预训练语言模型(PLMs)已取得最先进结果。然而,设计统一范式以在PLM微调阶段注入领域知识尚待充分研究。我们提出KnowledgeDA,一种统一的领域语言模型开发服务,利用领域知识图谱增强任务特定的训练过程。给定领域特定任务文本输入,KnowledgeDA可自动生成领域特定语言模型,遵循三步:(i)通过嵌入相似度方法定位文本中的领域知识实体;(ii)从知识图谱与训练数据双视角检索可替换领域实体对以生成增强样本;(iii)通过基于置信度的评估筛选高质量增强样本用于微调。我们实现了KnowledgeDA原型,为医疗与软件开发两个领域学习语言模型。在领域特定文本分类与问答任务上的实验验证了KnowledgeDA的有效性与泛化能力。
引用
@article{arxiv.2212.05251,
title = {A Unified Knowledge Graph Augmentation Service for Boosting Domain-specific NLP Tasks},
author = {Ruiqing Ding and Xiao Han and Leye Wang},
journal= {arXiv preprint arXiv:2212.05251},
year = {2023}
}
备注
Accepted by ACL Findings 2023