让大语言模型对话：通过零样本LLM间交互模拟人人对话式问答
计算与语言
2023-12-06 v1 人工智能
信息检索
摘要
对话式问答（CQA）系统旨在创建交互式搜索系统，通过与用户交互来有效检索信息。为了复现人与人之间的对话，现有工作使用人类标注者扮演提问者（学生）和回答者（老师）的角色。尽管这种方法有效，但存在挑战，因为人工标注耗时、不一致且不可扩展。为了解决这个问题并探究大语言模型（LLMs）在CQA模拟中的适用性，我们提出了一个模拟框架，该框架采用零样本学习者LLM来模拟师生交互。我们的框架涉及两个LLM在特定主题上进行交互，第一个LLM充当学生，生成问题以探索给定的搜索主题。第二个LLM扮演老师的角色，回答问题，并配备额外信息，包括关于给定主题的文本。我们通过零样本提示GPT-4模型来实现学生和老师。为了评估LLM在模拟CQA交互中的有效性，并理解LLM生成对话与人类生成对话之间的差异，我们从多个角度评估了模拟数据。我们首先通过自动评估和人工评估来评估老师的表现。接下来，我们评估学生的表现，分析并比较LLM生成的问题与人类生成的问题之间的差异。此外，我们进行了广泛的分析，通过在两个数据集上对最先进的阅读理解模型进行基准测试，来彻底检验LLM的性能。我们的结果表明，老师LLM生成的答案更长，且往往更准确、更完整。学生LLM生成了更多样化的问题，涵盖了给定主题的更多方面。
引用
@article{arxiv.2312.02913,
title = {Let the LLMs Talk: Simulating Human-to-Human Conversational QA via Zero-Shot LLM-to-LLM Interactions},
author = {Zahra Abbasiantaeb and Yifei Yuan and Evangelos Kanoulas and Mohammad Aliannejadi},
journal= {arXiv preprint arXiv:2312.02913},
year = {2023}
}
备注
Accepted at WSDM 2024