社会技术审计:拓宽算法审计视角以研究定向广告
人机交互
2023-08-31 v1 计算机与社会
摘要
算法审计是研究黑箱系统的有力工具。虽然在考察技术组件方面非常有效,该方法未能采用社会技术框架,后者将用户视为系统不可分割且动态的一部分。为弥补这一差距,我们提出社会技术审计的概念:在社会技术层面评估算法系统的审计方法,聚焦于算法与用户之间相互影响的交互。正如算法审计以不同输入探测算法并观察输出,社会技术审计(STA)额外探测用户,使其暴露于不同的算法行为并测量由此产生的态度与行为。为实例化该方法,我们开发了 Intervenr,一个用于在有知情同意且获补偿的参与者中开展基于浏览器的纵向社会技术审计的平台。Intervenr 调查用户在线遇到的算法内容,并协调系统化的客户端干预以理解用户如何随之改变。作为一个案例研究,我们在一项为期两周的在线广告社会技术审计(N=244)中部署 Intervenr,以研究“个性化广告定向对用户更有效”这一核心前提。第一周,我们收集投递给用户的所有浏览器广告;第二周,我们部署一种消融式干预,通过随机配对参与者并交换其所有广告来扰乱正常定向。我们全程收集面向用户的指标(自我报告的广告兴趣与代表性感受)和面向广告商的指标(广告浏览、点击与识别),以及总计超过 500,000 条广告。我们的 STA 发现定向广告确实在用户端表现更好,但用户仅在一周内就开始适应不同广告,这鉴于重复暴露的影响而对个性化广告定向的优先性提出质疑。
引用
@article{arxiv.2308.15768,
title = {Sociotechnical Audits: Broadening the Algorithm Auditing Lens to Investigate Targeted Advertising},
author = {Michelle S. Lam and Ayush Pandit and Colin H. Kalicki and Rachit Gupta and Poonam Sahoo and Danaë Metaxa},
journal= {arXiv preprint arXiv:2308.15768},
year = {2023}
}
备注
To appear at CSCW 2023