FedEval-LLM: 基于集体智慧的联邦式大语言模型下游任务评估

联邦学习（FL）已成为协作训练大型语言模型（LLM）的一种有前景的解决方案。然而，LLM融入FL带来了新的挑战，特别是关于LLM的评估。依赖标注测试集和基于相似度的度量的传统评估方法仅覆盖可接受答案的一个子集，因此无法准确反映LLM在生成任务上的性能。同时，尽管利用先进LLM的自动评估方法具有潜力，但由于需要将数据传输到外部服务器而面临数据泄露的关键风险，并且由于缺乏领域知识而在下游任务上表现欠佳。为了解决这些问题，我们提出了一个联邦式大语言模型评估框架，名为FedEval-LLM，该框架无需依赖标注测试集和外部工具即可提供LLM在下游任务上的可靠性能度量，从而确保强大的隐私保护能力。FedEval-LLM利用来自参与者的个性化LLM联盟作为裁判，提供领域知识和集体评估能力，从而与各自的下游任务对齐，并减轻与单一裁判相关的不确定性和偏差。实验结果表明，个性化评估模型在下游任务上的评估能力显著提升。当应用于FL时，这些评估模型在精心策划的测试集上与人类偏好和RougeL分数表现出高度一致性。FedEval-LLM有效克服了传统度量的局限性和对外部服务的依赖，使其成为协作训练场景中LLM评估的一个有前景的框架。