动态中的评论：Yelp 评论推荐的规模化纵向研究

联合国消费者保护指南将“获取……充分信息……以做出知情选择”列为一项核心消费者保护权利。然而，有问题的在线评论以及检测这些评论的算法缺陷，对该权利的落实构成障碍。关于评论与评论平台的研究常从单次网络爬取中得出见解，但这些爬取所观察到的决策可能并非静态。平台可能某天展示一条评论，次日又将其过滤隐藏。理解这些动态对于认识平台如何选择消费者所遇评论以及哪些评论可能无帮助或可疑是必要的。我们为评论研究引入一种新颖的纵向视角。我们聚焦于“重分类”，即平台改变对某条评论的过滤决策。为此，我们对 Yelp 进行重复网络爬取以构建三个纵向数据集。这些数据集凸显了平台对评论的动态处理。我们编集了超过 1250 万条评论——其中逾 200 万条唯一——涵盖逾 1 万家企业。我们的数据集可供研究者使用。我们的纵向方法赋予我们审视 Yelp 分类器的独特视角，并使我们得以探索重分类。我们发现评论在 Yelp 的两个主要分类器类别（“推荐”与“不推荐”）之间频繁移动——八年内高达 8%——这引发对既往工作将 Yelp 类别作为真值的担忧。这些变化在小尺度上亦有影响；例如，尽管无新评论，某企业星级却从 3.5 升至 4.5。部分评论多次移动：我们在十一个月内观测到多达五次重分类。我们的数据暗示重分类存在人口统计差异，低密度与中低收入区域变化更多。