小型语言模型作为中文关系抽取中大型语言模型的有效引导者
计算与语言
2024-12-23 v2
摘要
近年来，大型语言模型 (LLM) 在关系抽取 (RE) 任务中取得了成功，尤其是在少样本学习方面。长尾数据是 RE 领域的一个重要问题，但在使用 LLM 方法时并未对此给予太多关注。因此，本文提出了 SLCoLM，一种模型协作框架，以缓解数据长尾问题。在我们的框架中，我们使用“训练 - 引导 - 预测”策略结合小型预训练语言模型 (SLM) 和 LLM 的优势，其中特定任务的 SLM 框架充当引导者，将任务知识转移给 LLM 并引导 LLM 执行 RE 任务。我们在一个富含关系类型的古汉语 RE 数据集上的实验表明，该方法促进了长尾关系类型的 RE。
引用
@article{arxiv.2402.14373,
title = {Small Language Models as Effective Guides for Large Language Models in Chinese Relation Extraction},
author = {Xuemei Tang and Jun Wang},
journal= {arXiv preprint arXiv:2402.14373},
year = {2024}
}
备注
13 pages, 9 tables, 3 figures