面向领域自然语言理解的知识增强上下文语言表示学习
计算与语言
2023-11-14 v1
摘要
知识增强预训练语言模型（KEPLMs）通过从大规模知识图谱（KGs）注入知识事实，提升了多种下游NLP任务的性能。然而，现有基于关系三元组预训练KEPLMs的方法因缺乏充分的领域图语义而难以适配封闭领域。本文中，我们提出了一种通过捕捉实体间隐式图结构、面向各类封闭领域的知识增强语言表示学习框架（KANGAROO）。具体而言，由于封闭领域KGs的实体覆盖率可能较低，并可能在知识注入时呈现全局稀疏现象，我们不仅考虑三元组的浅层关系表示，还考虑深层层次化实体-类别结构的双曲嵌入以实现有效知识融合。此外，由于同一实体类别下的两个封闭领域实体常具有由极大点双连通分量度量的局部稠密邻域子图，我们进一步提出一种基于子图对比学习的数据增强策略以构造更高质量的难负样本。它使底层KELPMs更好区分这些相邻实体的语义，从而进一步补充全局语义稀疏性。实验中，我们在全量与少样本学习设定下评估KANGAROO在各类知识感知与通用NLP任务上的表现，显著优于多种封闭领域KEPLM训练范式。
引用
@article{arxiv.2311.06761,
title = {Learning Knowledge-Enhanced Contextual Language Representations for Domain Natural Language Understanding},
author = {Ruyao Xu and Taolin Zhang and Chengyu Wang and Zhongjie Duan and Cen Chen and Minghui Qiu and Dawei Cheng and Xiaofeng He and Weining Qian},
journal= {arXiv preprint arXiv:2311.06761},
year = {2023}
}
备注
emnlp 2023