利用知识与强化学习提升语言模型的可靠性
计算与语言
2023-08-28 v1 人工智能
信息检索
摘要
自然语言处理（NLP）社区一直使用众包技术创建基准数据集，如通用语言理解评估（GLUE），用于训练 BERT 等现代语言模型（LMs）。GLUE 任务利用标注者间指标（即 Cohen's Kappa）来衡量可靠性分数。然而，语言模型的可靠性方面常被忽视。为应对此问题，我们探索了一种知识引导的 LM 集成方法，利用强化学习将来自 ConceptNet 和 Wikipedia 的知识作为知识图嵌入进行整合。该方法模仿人类标注者借助外部知识来弥补数据集中的信息缺失。在九个 GLUE 数据集上，我们的研究表明集成提升了可靠性与准确性分数，优于当前最优（state of the art）。
引用
@article{arxiv.2308.13467,
title = {Leveraging Knowledge and Reinforcement Learning for Enhanced Reliability of Language Models},
author = {Nancy Tyagi and Surjodeep Sarkar and Manas Gaur},
journal= {arXiv preprint arXiv:2308.13467},
year = {2023}
}
备注
Accepted at CIKM'23