FinTeamExperts：用于金融分析的角色专用混合专家模型

大语言模型 (LLM)，如 ChatGPT、Phi3 和 Llama-3，正在引领 AI 的重大进步，因为它们可以从训练中推广知识以解决新任务，而无需微调。然而，其在金融领域的应用仍相对有限。金融领域是天然复杂的，需要深入理解，涵盖从宏观、微观经济趋势到定量分析的各种视角。针对这种复杂性，针对特定金融领域的混合专家 LLM 可能为复杂的金融任务提供更全面的理解。本文提出了 FinTeamExperts，一个结构为混合专家 (MOEs) 的角色专用 LLM 框架，用于金融分析。该框架通过训练每个模型专注于特定角色：宏观分析师、微观分析师和定量分析师来模拟协作团队setting。这种角色特定的专业化提高了模型整合其领域特定专业知识的能力。我们通过在不同语料库上训练三个 80 亿参数模型来实现这一点，每个模型专注于在特定金融领域中卓越表现。我们然后对 FinTeamExperts 在下游任务上进行指令微调，以与实际金融任务保持一致。实验结果显示，FinTeamExperts 在三个数据集中均优于同等规模和更大规模的所有模型。在第四个数据集上，该数据集 presents a 更复杂的任务，FinTeamExperts 仍优于同等规模的所有模型。这凸显了我们基于角色的专业化方法和 FinTeamExperts 持续训练方法的成功。