SememeLM: 一种面向长尾关系表示的义原知识增强方法
计算与语言
2024-06-18 v1 人工智能
摘要
识别两个词之间的关系是一项具有广泛应用的基础任务。与从文本中提取关系不同,在没有上下文的情况下识别词间关系是困难的。特别是对于长尾关系,由于语义特征不足,识别变得更加困难。现有基于语言模型(LM)的方法利用LM的丰富知识来增强关系的语义特征。然而,它们捕捉不常见的关系,却忽略了那些不太频繁但有意义的关系,因为LM的知识严重依赖于通常代表常见关系的训练数据。另一方面,长尾关系在训练数据中通常不常见。利用外部知识来丰富LM是很有趣但并非微不足道的,因为收集包含长尾关系的语料库几乎不可行。在本文中,我们提出了一种义原知识增强方法(SememeLM)来增强长尾关系的表示,其中义原可以打破词之间的上下文约束。首先,我们提出了一个义原关系图,并设计了一种图编码方法。此外,由于外部知识库可能包含大量不相关的知识,因此会引入噪声。我们提出了一致性对齐模块,该模块将引入的知识与LM对齐,减少噪声并将知识集成到语言模型中。最后,我们在词类比数据集上进行了实验,该数据集评估了区分关系表示细微差异(包括长尾关系)的能力。大量实验表明,我们的方法优于一些最先进的方法。
引用
@article{arxiv.2406.10297,
title = {SememeLM: A Sememe Knowledge Enhanced Method for Long-tail Relation Representation},
author = {Shuyi Li and Shaojuan Wu and Xiaowang Zhang and Zhiyong Feng},
journal= {arXiv preprint arXiv:2406.10297},
year = {2024}
}