应用评论中的公平性关注:基于人工智能的移动应用研究
软件工程
2024-08-02 v4 人工智能
计算机与社会
摘要
公平性是软件系统中必须解决的社会技术关注之一。鉴于移动软件应用(apps)在全球广大用户中的普及,具有不公平行为和结果的移动应用可能影响全球很大一部分人口,其影响可能超过任何其他类型的软件系统。用户在移动应用评论中表达了广泛的社会技术关注。本研究旨在调查移动应用评论中提出的公平性关注。我们的研究聚焦于基于人工智能的移动应用评论,因为基于人工智能的移动应用出现不公平行为和结果的可能性可能高于非基于人工智能的应用。为此,我们首先手动构建了一个真值数据集,包含 1,132 条公平性评论和 1,473 条非公平性评论。利用该真值数据集,我们开发并评估了一组机器学习和深度学习模型,用于区分公平性评论与非公平性评论。实验表明,我们表现最佳的模型能够以 94% 的精度检测出公平性评论。然后,我们将表现最佳的模型应用于从 108 个基于人工智能的应用中收集的约 950 万条评论,并识别出约 92,000 条公平性评论。接着,对这 92,000 条公平性评论应用 K-means 聚类技术,随后进行人工分析,识别出六种不同类型的公平性关注(例如,“在不同平台和设备上接收不同质量的功能与服务”以及“在处理用户生成内容时缺乏透明度与公平性”)。最后,对 2,248 条应用所有者对公平性评论的回复进行人工分析,识别出应用所有者用于解释公平性关注的六个根本原因(例如,“版权问题”)。
引用
@article{arxiv.2401.08097,
title = {Fairness Concerns in App Reviews: A Study on AI-based Mobile Apps},
author = {Ali Rezaei Nasab and Maedeh Dashti and Mojtaba Shahin and Mansooreh Zahedi and Hourieh Khalajzadeh and Chetan Arora and Peng Liang},
journal= {arXiv preprint arXiv:2401.08097},
year = {2024}
}
备注
Preprint accepted for publication in ACM Transactions on Software Engineering and Methodology (TOSEM), 2024