星级评分之误：Android应用评论分析

诸如Google Play Store之类的移动应用分发平台允许用户以评论和相应星级评分的形式对下载的应用分享反馈。通常，星级评分范围从一星到五星，一星表示对应用极度不满，五星表示高度满意。遗憾的是，由于种种原因，用户提供的星级评分往往与评论中表达的观点不一致。例如，考虑以下对Android上Facebook应用的评论：“Awesome App”。人们自然会期望这条评论的评分为五星，但实际评分却是一星！这种不一致的评分会导致应用总体平均评分被压低（或抬高），从而影响用户下载，因为用户在决定是否下载应用时通常会查看平均星级评分。此外，应用开发者收到的反馈存在偏差，无法反映真实情况。这对于只有几千次下载量的小型应用尤为显著，因为即使少数不匹配的评论也能大幅拉低平均评分。在本文中，我们对这一评论-评分不匹配问题进行了研究。我们手动检查了来自10个流行Android应用的8600条评论，发现数据集中20%的评分与评论不一致。此外，我们开发了三个系统；其中两个基于传统机器学习，一个基于深度学习，以自动识别评分与评论所表达观点不符的评论。我们的深度学习系统表现最佳，在为给定评论识别正确星级评分方面的准确率达到92%。