KEHRL: 基于分层强化学习学习知识增强的语言表示
计算与语言
2024-06-25 v1
摘要
知识增强的预训练语言模型（KEPLM）利用知识图谱（KG）中的关系三元组，并通过自监督学习将这些外部数据源整合到语言模型中。先前的工作将知识增强视为两个独立的操作，即知识注入和知识集成。在本文中，我们提出使用分层强化学习（KEHRL）来学习知识增强的语言表示，该方法联合解决了检测知识注入位置和将外部知识集成到模型中的问题，以避免注入不准确或不相关的知识。具体来说，一个高层强化学习（RL）代理利用内部和先验知识，迭代地检测文本中用于知识注入的关键位置，从而过滤掉意义不大的实体，避免偏离知识学习方向。一旦选择了实体位置，一个相关的三元组过滤模块被触发，执行低层强化学习，通过二值动作动态地细化与多义实体关联的三元组。实验验证了KEHRL在探测事实知识和提升模型在各种自然语言理解任务上的性能方面的有效性。
引用
@article{arxiv.2406.16374,
title = {KEHRL: Learning Knowledge-Enhanced Language Representations with Hierarchical Reinforcement Learning},
author = {Dongyang Li and Taolin Zhang and Longtao Huang and Chengyu Wang and Xiaofeng He and Hui Xue},
journal= {arXiv preprint arXiv:2406.16374},
year = {2024}
}