RADIUS：排序、分布与显著性 - 用于调查模拟的综合对齐套件
计算与语言
2026-03-20 v1
摘要
使用 LLM 模拟调查正在成为一种强大的应用，用于以规模化方式生成类似人类的响应。先前的工作使用从其他领域借来的指标来评估调查模拟，这些指标往往是临时性的、碎片化的和不标准化的，导致结果难以比较。而且，现有的指标主要关注准确性或分布性度量，忽略了排序对齐这一关键维度。实际情况下，模拟可能在准确性方面取得高水平，却未能捕捉到人类最喜欢的选项——这在决策应用中是一个关键区别。我们引入RADIUS，一个针对调查模拟的全面的两维对齐套件，涵盖：1) 排序对齐和2) 分布对齐，每项都配有统计显著性测试。RADIUS 突显了现有指标的局限性，使对调查模拟的评估更具意义，并提供一个开源实现，用于可重复且可比较的评估。
引用
@article{arxiv.2603.19002,
title = {RADIUS: Ranking, Distribution, and Significance - A Comprehensive Alignment Suite for Survey Simulation},
author = {Weronika Łajewska and Paul Missault and George Davidson and Saab Mansour},
journal= {arXiv preprint arXiv:2603.19002},
year = {2026}
}