Self-Agreement：一种用于微调语言模型以在多元意见间寻找共识的框架
计算与语言
2023-05-22 v1 人工智能
多智能体系统
摘要
在多元意见间寻找共识是多智能体系统中的一个具有挑战性的课题。近来，大型语言模型（LLMs）因其在理解人类意见和生成类人文本方面的卓越能力，在应对该挑战上展现出巨大潜力。然而，它们通常依赖于大量人工标注数据。本文提出 Self-Agreement，一种新颖的框架，用于微调 LLMs 以利用 LLM 自身生成的数据自主寻找共识。具体而言，我们的方法采用生成式预训练 Transformer-3（GPT-3）为问题数据集中的每个问题生成多种意见，并在这些意见间创建若干共识候选。随后，一个基于双向编码器表示来自 Transformer（BERT）的模型评估每个共识候选的共识分数，并选取分数最高者。该过程产生一个问题-意见-共识数据集，我们用以微调预训练 LLM，从而发现多元意见间的共识。值得注意的是，经我们的 Self-Agreement 框架微调的预训练 LLM 仅以 GPT-3 二十五分之一的参数便取得了与 GPT-3 相当的性能，展示了其在无需人工标注数据情况下识别各类意见间共识的能力。
引用
@article{arxiv.2305.11460,
title = {Self-Agreement: A Framework for Fine-tuning Language Models to Find Agreement among Diverse Opinions},
author = {Shiyao Ding and Takayuki Ito},
journal= {arXiv preprint arXiv:2305.11460},
year = {2023}
}