Debatrix：基于大语言模型的迭代时序分析与多维辩论裁判
计算与语言
2024-06-21 v3
摘要
如何构建一个自动辩论裁判来评估一场广泛、激烈、多轮的辩论？这项任务极具挑战性，因为评判辩论涉及处理冗长文本、复杂的论点关系以及多维度的评估。同时，当前研究主要集中于短对话，很少触及对整场辩论的评估。本文通过利用大语言模型（LLMs），提出了 Debatrix，使得对多轮辩论的分析和评估更符合多数人的偏好。具体而言，Debatrix 具有纵向的迭代时序分析和横向的多维评估协作的特点。为了与真实世界的辩论场景对齐，我们引入了 PanelBench 基准，将我们系统的性能与实际辩论结果进行比较。研究结果表明，相较于直接使用大语言模型进行辩论评估，性能有显著提升。源代码和基准数据可在 https://github.com/ljcleo/debatrix 在线获取。
引用
@article{arxiv.2403.08010,
title = {Debatrix: Multi-dimensional Debate Judge with Iterative Chronological Analysis Based on LLM},
author = {Jingcong Liang and Rong Ye and Meng Han and Ruofei Lai and Xinyu Zhang and Xuanjing Huang and Zhongyu Wei},
journal= {arXiv preprint arXiv:2403.08010},
year = {2024}
}