无兄长亦无弟长：语言模型中知识注入用于链接预测与问答
计算与语言
2023-04-04 v1 人工智能
机器学习
摘要
知识图谱与深度学习的融合在提升各类自然语言处理（NLP）任务性能方面蓬勃发展。本文关注使用语言模型 T5 与 BLOOM 在航空、电影和网络三个领域进行知识注入的链接预测与问答。在此背景下，我们在大语言模型与小语言模型中注入知识并研究其性能，发现二者表现相似。在航空知识图谱的链接预测任务上，使用 T5-small、T5-base、T5-large 和 BLOOM 均获得 0.2 的 hits@1 分数。利用基于模板的脚本，我们从国家运输安全委员会（NTSB）报告中创建了航空领域一组 100 万合成事实型问答对。在我们整理的问答对上，T5 的三个模型取得了 0.7 的 hits@1 分数。我们通过配对 student t 检验和 Cohen's kappa 分数验证了我们的发现。对于使用 T5-small 和 T5-large 在航空知识图谱上的链接预测，我们获得 0.76 的 Cohen's kappa 分数，显示模型间具有实质性一致。因此，我们推断在知识注入下，小语言模型表现类似于大语言模型。
引用
@article{arxiv.2301.04013,
title = {There is No Big Brother or Small Brother: Knowledge Infusion in Language Models for Link Prediction and Question Answering},
author = {Ankush Agarwal and Sakharam Gawade and Sachin Channabasavarajendra and Pushpak Bhattacharyya},
journal= {arXiv preprint arXiv:2301.04013},
year = {2023}
}