对话中的推理：通过对话模拟为大语言模型解决主观任务
计算与语言
2024-02-28 v1
摘要
大语言模型 (LLMs) 在开放域问答和数学推理等客观任务中取得了卓越的性能，这些任务通常可以通过回忆所学的事实知识或思维链式推理来解决。然而，我们发现 LLMs 在主观任务中的表现仍不尽如人意，例如隐喻识别、黑色幽默检测等。与客观任务相比，主观任务更侧重于解释或情感反应，而非普遍接受的推理路径。基于任务特征和 LLMs 强大的对话生成能力，我们提出了 RiC (Reasoning in Conversation)，一种通过对话模拟来解决主观任务的方法。RiC 的动机是通过模拟对话而非提供思维链式理由来挖掘有用的上下文信息，从而为给出最终答案提供对话背后潜在的有用知识。我们在十二个任务上评估了包括 GPT-4、ChatGPT 和 OpenChat 在内的基于 API 和开源的 LLMs。实验结果表明，与各种基线相比，RiC 能产生显著的改进。
引用
@article{arxiv.2402.17226,
title = {Reasoning in Conversation: Solving Subjective Tasks through Dialogue Simulation for Large Language Models},
author = {Xiaolong Wang and Yile Wang and Yuanchi Zhang and Fuwen Luo and Peng Li and Maosong Sun and Yang Liu},
journal= {arXiv preprint arXiv:2402.17226},
year = {2024}
}