中文

平台-用户权力关系如何塑造算法问责:印度即时贷款平台与财务困境用户的案例研究

人机交互 2022-05-12 v1 人工智能 计算机与社会 机器学习

摘要

问责制作为负责任 AI 的必备条件,可通过审计与可解释性等透明机制来促成。然而,先前工作表明这些机制的成功可能仅限于全球北方语境;理解当前干预措施在不同社会政治条件下的局限性,对于帮助政策制定者促进更广泛的问责至关重要。为此,我们考察了全球南方背景下脆弱用户与“高风险”AI 系统既有互动中问责的调停机制。我们报告了一项针对印度 29 名即时贷款平台财务困境用户的定性研究。我们发现,用户对即时贷款的“恩惠”抱有强烈的负债感,并视贷款平台为巨大的义务对象。用户通过接受苛刻条款、过度分享敏感数据以及向未知且未经验证的放贷者支付高额费用来履行义务。尽管面临滥用、反复负债、歧视、隐私侵害及自残等伤害风险,用户仍持续此类行为,表现出对贷款平台的依赖。用户非但未对贷款平台感到愤怒,反而将负面体验归责于自身,从而免除了强势贷款平台的问责义务。我们认为问责受平台-用户权力关系塑造,并敦促政策制定者谨慎采用纯技术路径来促进算法问责。相反,我们呼吁采取立足情境的干预,以增强用户能动性、实现有意义的透明、重构设计者-用户关系,并促使从业者对更广泛的问责进行批判性反思。最后我们给出了在印度及更广范围内负责任部署金融科技(FinTech)应用中 AI 的启示。

关键词

引用

@article{arxiv.2205.05661,
  title  = {How Platform-User Power Relations Shape Algorithmic Accountability: A Case Study of Instant Loan Platforms and Financially Stressed Users in India},
  author = {Divya Ramesh and Vaishnav Kameswaran and Ding Wang and Nithya Sambasivan},
  journal= {arXiv preprint arXiv:2205.05661},
  year   = {2022}
}

备注

To appear at FAccT 2022