RelBERT：用语言模型嵌入关系
计算与语言
2023-10-10 v2
摘要
许多应用需要访问关于不同概念与实体如何关联的背景知识。尽管知识图谱（KG）与大语言模型（LLM）能在一定程度上满足该需求，KG 难免不完整且其关系模式常过于粗粒度，而 LLM 效率低且难以控制。作为替代，我们提出从相对较小的语言模型中提取关系嵌入。具体地，我们展示如 RoBERTa 之类的掩码语言模型可为此目的被直接微调，仅使用少量训练数据。所得模型我们称为 RelBERT，以惊人细粒度捕获关系相似性，使我们能在类比基准上确立新的最先进（SOTA）水平。关键在于，RelBERT 能建模远超模型训练时所见的关系。例如，我们用仅在概念间词汇关系上训练的模型，在命名实体间关系上取得了强劲结果；并观察到 RelBERT 能识别形态学类比，尽管未在此类样本上训练。总体而言，我们发现 RelBERT 显著优于基于提示比其大数个量级的语模型策略，包括近期基于 GPT 的模型与开源模型。
引用
@article{arxiv.2310.00299,
title = {RelBERT: Embedding Relations with Language Models},
author = {Asahi Ushio and Jose Camacho-Collados and Steven Schockaert},
journal= {arXiv preprint arXiv:2310.00299},
year = {2023}
}