GuessTheKarma：一种评估社交评分系统的游戏
人机交互
2018-09-05 v1
摘要
Twitter 转发、Reddit 点赞和 Pinterest 收藏等流行度系统有可能引导人们关注他人喜欢的帖子。然而，这会产生一个反馈循环，降低了其信息量：被标记为更流行的条目获得更多关注，因此额外的点赞和转发可能仅仅反映了关注的增加，而非关于喜欢该条目的人群比例的独立信息。还剩下多少信息？例如，如果条目 A 在 Reddit 上有数百个点赞而条目 B 只有几个，我们能有多大把握认为更多人偏好 A 而非 B？我们通过一个名为 GuessTheKarma 的互联网游戏进行研究，该游戏收集了 400 对图像的独立偏好判断（N=20,674），每对约 50 个。与主导社交媒体服务的评分系统不同，GuessTheKarma 不含影响评分的社会与排名效应。总体而言，以 GuessTheKarma 测得的真实人群偏好为基准，Reddit 分数并不是很好的预测指标：得分较高的图像仅在 68% 的情况下被多数独立评分者偏好。然而，当一张图像得分很低而另一张是其子版块中得分最高者之一时，得分较高图像在近 90% 的情况下被多数独立评分者偏好。类似地，Imgur 的浏览量对图像的预测能力也很差，除非配对间存在数量级差异。我们得出结论，带有反馈循环的流行度系统可能传递关于人群偏好的强信号，但仅当比较获得截然不同流行度分数的条目时。
引用
@article{arxiv.1809.00740,
title = {GuessTheKarma: A Game to Assess Social Rating Systems},
author = {Maria Glenski and Greg Stoddard and Paul Resnick and Tim Weninger},
journal= {arXiv preprint arXiv:1809.00740},
year = {2018}
}
备注
15 pages, 7 figures, accepted to CSCW 2018