量化在线平台中的投票者偏差:一种工具变量方法
社会与信息网络
2019-10-03 v1 计算机与社会
摘要
在基于内容的在线平台中,使用用户聚合反馈(例如投票总和)作为衡量内容质量的“黄金标准”十分常见。然而,使用投票聚合与现有实证文献相悖,后者表明投票者易受不同偏差的影响——声誉(例如发布者的声誉)、社会影响(例如迄今的投票数)和位置(例如回答位置)。我们的目标是在观测环境下量化在线平台中这些偏差的程度。具体而言,不同印象信号——如贡献用户的声誉、迄今的聚合投票以及内容的位置——对参与者在内容上的投票有何因果效应?我们采用工具变量(IV)框架来回答该问题。我们确定了一组候选工具变量,仔细分析其有效性,然后使用有效工具变量揭示印象信号对投票的效应。我们使用来自Stack Exchange网站的日志数据进行的实证研究表明,由我们的IV方法得到的偏差估计与由普通最小二乘(OLS)方法得到的偏差估计不同。特别地,OLS低估了声誉偏差(金徽章为1.6–2.2倍)和位置偏差(初始位置最高达1.9倍),并高估了社会影响偏差(初始投票为1.8–2.3倍)。我们工作的启示包括:重新设计用户界面以避免投票者偏差;改变平台政策以减轻投票者偏差;检测在线平台中其他形式的偏差。
引用
@article{arxiv.1910.00757,
title = {Quantifying Voter Biases in Online Platforms: An Instrumental Variable Approach},
author = {Himel Dev and Karrie Karahalios and Hari Sundaram},
journal= {arXiv preprint arXiv:1910.00757},
year = {2019}
}
备注
The 22nd ACM Conference on Computer-Supported Cooperative Work and Social Computing (CSCW), 2019