设计信息丰富的评分系统：来自在线劳动力市场的证据

平台高度依赖评分系统来了解市场参与者的质量。然而在实践中，这些评分往往高度膨胀，因而信息量不大。本文首先研究平台能否通过改变评分系统中各等级的含义与相对重要性，获得膨胀更小、信息更丰富的评分。其次，我们寻求一种原则性方法，供平台在评分系统设计中作出这些选择。首先，我们分析了某在线劳动力市场的一项随机对照试验，该试验在反馈表中增加了一个问题。在各处理条件间，我们改变问题措辞与回答选项；具体而言，处理条件包含若干正向偏斜的言语评分量表，其中每个评分等级配有提供具体解释的描述性短语或形容词。在线劳动力市场测试表明，当前的通货膨胀式规范实际上可通过重新锚定评分系统各等级的含义来抵消。特别是，正向偏斜的言语评分量表产生的评分分布显著降低了评分膨胀，并能更好地反映卖家质量。其次，我们开发了一个基于模型的框架，用于比较与选择评分系统设计，并将该框架应用于在线劳动力市场测试所得数据。我们的模拟表明，这一用于量表设计与优化的基于模型的框架能够识别出信息最丰富的评分系统，并较基线设计大幅改善所获信息质量。总体而言，我们的研究说明，实践中信息丰富的评分系统是可以被设计出来的，并展示了如何以原则性方式进行设计。