AQuA：结合专家与非专家视角利用 LLM 评估在线讨论的审议质量

在政治在线讨论中衡量贡献质量对于审议研究与计算机科学至关重要。研究已经确定了各种评估在线讨论质量的指标，而随着深度学习的发展，自动化这些度量已成为可能。尽管一些研究侧重于分析特定的质量指标，但通常更倾向于采用包含各种审议方面的综合质量评分。在这项工作中，我们引入了 AQuA，这是一种加性评分，能够从每个讨论帖子的多个指标中计算出统一的审议质量得分。与其他单一评分不同，AQuA 保留了评论中存在的审议方面的信息，从而增强了模型的透明度。我们针对 20 个审议指标开发了 adapter 模型，并计算了专家标注与非专家感知到的审议程度之间的相关系数，以将各个指标加权为单一的审议得分。我们证明，AQuA 得分可以轻松地从预训练 adapter 中计算得出，并且与训练期间未见过的其他数据集上的标注良好对齐。对专家与非专家标注的分析证实了社会科学文献中的理论发现。