WEIRD的ICWSM:社会计算研究有多西方、受教育、工业化、富裕和民主?
人机交互
2024-06-12 v2 人工智能
摘要
社会计算领域的许多研究都分析来自社交媒体平台的数据,这些数据可能固有地带有偏差。这种偏差的一个被忽视的来源是WEIRD(西方、受教育、工业化、富裕和民主)人群的过度代表,这可能无法准确反映全球人口多样性。我们评估了AAAI ICWSM会议上发表的研究对WEIRD人群的依赖程度;该会议是唯一一个完全致力于社会计算研究的会议。我们通过分析2018年至2022年间发表的494篇论文来进行评估,这些论文包括完整研究论文、数据集论文和海报。在过滤掉分析合成数据集或缺乏明确来源国的论文后,我们剩下420篇论文,其中一项包含完全人工验证的众包研究中的188名参与者提取了用于WEIRD分数计算的数据。然后,这些数据被用于调整现有的WEIRD指标,使其适用于社交媒体数据。我们发现,这些论文中有37%仅关注来自西方国家的数据。这一比例显著低于CHI(76%)和FAccT(84%)会议研究中观察到的比例,表明ICWSM中数据集来源的多样性更高。然而,ICWSM的研究仍然主要考察来自与FAccT相比更受教育、更工业化和更富裕国家的人群,特别注意到反映政治自由和权利的“民主”变量。这指出了社交媒体数据在揭示政治自由受限国家的研究发现方面的效用。基于这些见解,我们建议扩展当前的“论文检查清单”,以包含对WEIRD偏差的考虑,并呼吁社区通过鼓励使用来自代表性不足地区的多样化数据集来拓宽研究的包容性。
引用
@article{arxiv.2406.02090,
title = {WEIRD ICWSM: How Western, Educated, Industrialized, Rich, and Democratic is Social Computing Research?},
author = {Ali Akbar Septiandri and Marios Constantinides and Daniele Quercia},
journal= {arXiv preprint arXiv:2406.02090},
year = {2024}
}
备注
11 pages, 2 figures, 7 tables