利用预训练与大语言模型增强社区问答中的答案选择
计算与语言
2023-11-30 v1
摘要
近年来社区问答（CQA）日益普及。然而，存在大量答案，用户难以筛选出相关答案。因此，答案选择是 CQA 的一项非常重要的子任务。在本文中，我们首先提出结合预训练模型的问答交叉注意力网络（QAN）用于答案选择，并利用大语言模型（LLM）通过知识增强执行答案选择。具体而言，我们应用 BERT 模型作为编码层分别对问题标题、问题正文和答案进行预训练，然后交叉注意力机制为不同问题筛选最相关答案。实验表明，QAN 模型在 SemEval2015 和 SemEval2017 两个数据集上取得了最先进的性能。此外，我们使用 LLM 从问题和正确答案中生成外部知识，通过 LLM 实现答案选择任务的知识增强，并从不同方面优化 LLM 的提示词（prompt）。结果表明，外部知识的引入可提高 LLM 在 SemEval2015 和 SemEval2017 数据集上的正确答案选择率。同时，LLM 也能通过优化后的提示词在更多问题上选出正确答案。
引用
@article{arxiv.2311.17502,
title = {Enhancing Answer Selection in Community Question Answering with Pre-trained and Large Language Models},
author = {Xinghang Hu},
journal= {arXiv preprint arXiv:2311.17502},
year = {2023}
}
备注
24pages, 4 figures, 14tables