社会规范一致性的自然主义测量
计算与语言
2026-05-25 v1
摘要
社会规范反映了对可接受行为的共同期望。测量社会规范一致性仍然具有挑战性，现有方法通常依赖于人为的封闭式评估（如多项选择问卷）或测量对预设陈述的同意度。在本工作的语境中，社会规范一致性是指针对社会问题或困境测量不同解决方案之间的一致程度。我们提出了一个通过解决方案匹配在自然主义、自由形式场景下测量社会规范一致性的框架。该框架使我们能够测量任意两个困境响应之间的一致性，例如 LLM 与人类、LLM 与 LLM，或人类与人类之间。我们引入了两个指标：陈述和显式同意准确率，并构建了一个包含 3000 个非平凡丹麦语社会困境的数据集。所有困境都被分配了由三名小组成员得出的参考解决方案，他们作为具有文化根基的评判者。我们在类似于自然用户-模型对话的交互设置中评估了几个 LLM 和人类响应的同意度。结果表明，所提出的指标产生了一致的模型排名，并揭示了不同类型困境之间一致性的差异，在邻里冲突和共享居住情况等主题上观察到更高的一致性。总体而言，我们的工作引入了一个数据集和评估框架，用于研究自然主义开放式对话中具有文化根基的社会推理。
引用
@article{arxiv.2605.23420,
title = {Naturalistic measure of social norms alignment},
author = {Yevhen Kostiuk and Kenneth Enevoldsen and Peter Bjerregaard Vahlstrup and Márton Kardos and Kristoffer Nielbo},
journal= {arXiv preprint arXiv:2605.23420},
year = {2026}
}