审计 YouTube 推荐算法中的错误信息过滤气泡
信息检索
2023-01-31 v1 机器学习
社会与信息网络
摘要
在本文中，我们展示了一项针对 YouTube 的审计研究结果，旨在调查用户陷入错误信息过滤气泡的速度，以及“打破气泡”（即逆转气泡包围）所需的条件。我们采用 sock puppet 审计方法，其中预编程的代理（充当 YouTube 用户）通过观看宣扬错误信息的视频内容深入错误信息过滤气泡。然后它们尝试通过观看辟谣错误信息的内容来打破气泡并获得更均衡的推荐。我们记录了搜索结果、主页结果以及所观看视频的推荐。总体而言，我们记录了 17,405 个独特视频，其中手动标注了 2,914 个以判断是否存在错误信息。标注数据用于训练一个将视频分类为三类（宣扬、辟谣、中立）的机器学习模型，准确率为 0.82。我们使用训练好的模型对剩余无法手动标注的视频进行分类。利用手动和自动标注的数据，我们观察到一系列审计主题下的错误信息气泡动态。我们的关键发现是，尽管在某些情况下过滤气泡并未出现，但当它们出现时，可以通过观看辟谣错误信息的内容来打破（尽管在不同主题间表现不同）。我们还观察到，在观看宣扬错误信息的视频后观看辟谣视频时，错误信息过滤气泡效应突然减弱，表明推荐具有强烈的情境性。最后，当将我们的结果与先前类似研究比较时，我们未观察到所推荐错误信息内容总体数量的显著改善。
引用
@article{arxiv.2210.10085,
title = {Auditing YouTube's Recommendation Algorithm for Misinformation Filter Bubbles},
author = {Ivan Srba and Robert Moro and Matus Tomlein and Branislav Pecher and Jakub Simko and Elena Stefancova and Michal Kompan and Andrea Hrckova and Juraj Podrouzek and Adrian Gavornik and Maria Bielikova},
journal= {arXiv preprint arXiv:2210.10085},
year = {2023}
}
备注
Just accepted to ACM Transactions on Recommender Systems (ACM TORS). arXiv admin note: substantial text overlap with arXiv:2203.13769