利用多智能体反思框架增强金融问答能力

尽管大型语言模型（LLMs）在众多自然语言处理（NLP）任务中展现了令人印象深刻的能力，但它们在金融问答（QA）方面仍面临困难，尤其是在需要数值推理时。最近，基于LLM的多智能体框架在多步推理中表现出了显著的有效性，这对金融问答任务至关重要，因为它涉及从表格和文本中提取相关信息，然后对提取的数据进行数值推理以推断答案。在本研究中，我们提出了一个多智能体框架，其中包含一个评论家智能体，该智能体对每个问题的推理步骤和最终答案进行反思。此外，我们通过添加多个评论家智能体来增强我们的系统，每个智能体专注于答案的特定方面。我们的结果表明，与单智能体推理相比，该框架显著提高了性能，LLaMA3-8B模型的平均性能提升为15%，LLaMA3-70B模型为5%。此外，我们的框架性能与更大的单智能体LLM（如LLaMA3.1-405B和GPT-4o-mini）相当，在某些情况下甚至超越它们，尽管与Claude-3.5 Sonnet相比略有不足。总的来说，我们的框架为增强用于金融问答任务的开源LLM提供了一种有效的解决方案，为Claude-3.5 Sonnet等更大模型提供了一种成本效益高的替代方案。