PERSPECTRA: 一个可扩展且可配置的基于论证视角的多元主义基准

多元主义，即处理不同视角而不将其合并为单一观点的能力，对于开发忠实反映人类异质性的大语言模型至关重要。然而，这一特性在LLM研究界尚未得到仔细审视，并且在大多数对齐研究中仍然缺失。以辩论为导向的来源为多元主义研究提供了一个自然的切入点。先前的工作建立在在线辩论来源之上，但仍受限于昂贵的人工验证。其他辩论丰富的平台，如Reddit和Kialo，也提供了有前景的材料：Reddit提供了语言多样性和规模，但缺乏清晰的论证结构，而Kialo提供了明确的赞成/反对图，但过于简洁且脱离自然话语。我们引入了PERSPECTRA，一个多元主义基准，它整合了Kialo辩论图的结构清晰性与真实Reddit讨论的语言多样性。使用受控的检索与扩展流水线，我们构建了3,810个增强论证，涵盖100个有争议话题上的762个赞成/反对立场。每个观点被扩展为多个自然变体，从而能够对多元主义进行稳健评估。我们使用PERSPECTRA初始化了三个任务：观点计数（识别不同视角）、观点匹配（将支持立场和话语与源观点对齐）和极性检查（推断混合话语中的总体立场）。使用最先进的开源和专有LLM进行的实验，突显了系统性失败，例如高估观点数量和错误分类让步结构，这强调了多元主义感知的理解与推理的难度。通过结合多样性与结构性，PERSPECTRA建立了第一个可扩展、可配置的基准，用于评估模型在表示、区分和推理多个视角方面的表现。