评估基于提示的问答用于开放研究知识图中的对象预测
计算与语言
2023-06-13 v2 人工智能
数字图书馆
信息论
math.IT
摘要
近期有许多关于在低资源环境下对transformer语言模型进行基于提示的训练以适配新文本类型的研究。基于提示的训练方法被发现在泛化预训练或微调模型以迁移至资源稀缺设定中有效。本工作首次报告采用基于提示的transformer训练用于\textit{学术知识图对象预测}的结果。工作在以下两方面独特：1）偏离其他提出实体与关系抽取流水线以预测学术知识图对象的工作；2）其他工作在接近通用知识域的文本类型上测试该方法，而我们在一个显著不同的域（即学术知识）测试，从而检验这些大规模transformer模型的 linguistic、概率与事实泛化性。我们发现（i）如预期，transformer模型在开箱测试于新数据域时表现不佳；（ii）模型的基于提示训练在宽松评估设定下实现高达40%性能提升；（iii）即使在低资源下以巧妙训练目标测试于迥异域，也显露出领域知识捕获鸿沟，为在transformer模型语境下投入更多注意力与资源至学术域提供了经验验证的激励。
引用
@article{arxiv.2305.12900,
title = {Evaluating Prompt-based Question Answering for Object Prediction in the Open Research Knowledge Graph},
author = {Jennifer D'Souza and Moussab Hrou and Sören Auer},
journal= {arXiv preprint arXiv:2305.12900},
year = {2023}
}
备注
14 pages, 1 figure, accepted for publication as a short paper at DEXA 2023 (https://www.dexa.org/dexa2023)