魁北克汽车保险问答系统：基于检索增强生成的研究
计算与语言
2024-10-15 v1
摘要
大型语言模型（LLM）在各类下游任务中表现卓越，检索增强生成（RAG）架构的应用已被证明可提升法律问答性能（Nuruzzaman 和 Hussain，2020；Louis 等，2024）。然而，在保险问答领域——一种特定类型的法律文件——的应用仍有限。本文引入两个语料库：魁北克汽车保险专家参考语料库和82个专家对普通人汽车保险问题的答案。我们的研究利用这两个语料库，对GPT-4-o（一种最先进的LLM）进行自动和人工评估，以回答魁北克汽车保险问题。结果表明，使用我们构建的专家参考语料库在自动和人工评估指标上均生成更好的响应。但也指出了LLM问答在关键领域大规模应用仍不可靠。事实上，我们的结果显示，在5%至13%的回答问题中包含错误陈述，可能导致客户误解。
引用
@article{arxiv.2410.09623,
title = {Quebec Automobile Insurance Question-Answering With Retrieval-Augmented Generation},
author = {David Beauchemin and Zachary Gagnon and Ricahrd Khoury},
journal= {arXiv preprint arXiv:2410.09623},
year = {2024}
}
备注
Accepted to NLLP 2024 EMNLP workshop