众包准确且稳健地预测最高法院判决

学者们越来越多地将“众包”作为专家判断或纯数据驱动预测未来方法的替代方案。在特定条件下，学者发现众包可以优于其他这些方法。然而，尽管该话题备受关注且有一系列成功用例，相对较少的研究应用实证模型思维来评估真实世界中众包的准确性与稳健性。本文提供三项新颖贡献。首先，我们探究一个数据集，包含超过 7000 名参与者在多年锦标赛中预测美国最高法院判决的逾 600,000 条预测。其次，我们开发了一个全面的众包构建框架，可对众包进行形式化描述并应用于真实数据。第三，我们将该框架应用于数据，构建了超过 275,000 个众包模型。我们发现，在样本外历史模拟中，众包稳健地优于被广泛接受的零模型，在此情境下取得已知最高的 80.8% 案件级准确率。据我们所知，该数据集与分析代表了迄今对重复性人类预测最大规模的探索之一，我们的结果为使用众包作为预测方法提供了额外的实证支持。