基于知识图谱的 T5 微调方法以解决复杂任务
计算与语言
2025-02-25 v1
摘要
随着深度学习技术的发展，大型语言模型在许多自然语言处理任务中取得了显著成果。然而，这些模型在处理复杂推理任务和理解丰富背景知识方面仍存在局限。为解决此问题，本研究提出了一种基于知识图谱的 T5 模型微调方法，通过引入外部知识图谱来增强模型的推理能力和上下文理解能力。我们使用 SQuAD1.1 数据集进行实验。实验结果表明，基于知识图谱的 T5 模型在推理准确率、上下文理解以及处理复杂问题的能力方面均显著优于其他基线模型。同时，我们还探讨了不同规模知识图谱对模型性能的影响，发现随着知识图谱规模的增加，模型性能逐渐提升。尤其是在处理复杂问题时，知识图谱的引入显著提升了 T5 模型的推理能力。消融实验进一步验证了实体和关系嵌入在模型中的重要性，并证明完整的知识图谱对于提高 T5 模型的各种能力至关重要。总之，本研究提供了一种有效的方法来增强大型语言模型的推理和理解能力，为未来研究提供了新的方向。
引用
@article{arxiv.2502.16484,
title = {A Fine-Tuning Approach for T5 Using Knowledge Graphs to Address Complex Tasks},
author = {Xiaoxuan Liao and Binrong Zhu and Jacky He and Guiran Liu and Hongye Zheng and Jia Gao},
journal= {arXiv preprint arXiv:2502.16484},
year = {2025}
}