当巨型语言大脑仍显不足！以知识闪粉点缀领域风采
计算与语言
2023-07-11 v2
摘要
大语言模型（LLMs）已显著推动自然语言处理领域发展，其中 GPT 系列模型处于前沿。尽管其卓越性能覆盖一系列任务，但将 LLMs 适配于真实业务场景仍存挑战，值得进一步探究。本文提出一项实证分析，旨在弥合 LLMs 与实际用例之间的适配鸿沟。为此，我们选取保险问答（QA）任务作为案例研究，因其具备推理挑战性。基于该任务，我们设计了一种依赖 LLMs 的新模型，其借助从保险保单规则手册与 DBpedia 中提取的额外知识而增强。额外知识帮助 LLMs 理解保险新概念以实现领域适配。在两个 QA 数据集上的初步结果表明，知识增强显著提升了 GPT-3.5 的推理能力（准确率分别为 55.80% 和 57.83%）。分析还表明，现有公开知识库（如 DBPedia）有益于知识增强。我们的发现揭示，业务场景固有的复杂性往往需引入领域特定知识与外部资源以有效解决问题。
引用
@article{arxiv.2305.07230,
title = {When Giant Language Brains Just Aren't Enough! Domain Pizzazz with Knowledge Sparkle Dust},
author = {Minh-Tien Nguyen and Duy-Hung Nguyen and Shahab Sabahi and Hung Le and Jeff Yang and Hajime Hotta},
journal= {arXiv preprint arXiv:2305.07230},
year = {2023}
}
备注
Ongoing work to adapt LLMs for business scenarios