Twitter消息中疫苗接种立场的监测

我们开发了一个系统，用于自动分类Twitter消息中关于疫苗接种的立场，重点关注具有负面立场的消息。此类系统使得监测社交媒体上持续产生的消息流成为可能，从而就公众对疫苗接种的犹豫提供可操作的洞察。对于提及疫苗接种相关关键词的荷兰语Twitter消息，我们标注了其与疫苗接种相关的立场和感受（前提是这些消息涉及该主题）。随后，我们利用这些编码数据训练并测试了不同的机器学习设置。为了最佳识别对疫苗接种持负面立场的消息，我们在递增的数据集规模和递减的标注可靠性下、在递增的区分类别数量下、以及使用不同分类算法对这些设置进行了比较。我们发现，在严格标注与宽松标注数据组合上训练、并采用更细粒度标注的支持向量机（Support Vector Machines）取得了最佳结果，其F1分数为0.36，ROC曲线下面积为0.66，优于基于规则的情感分析基线（其F1分数为0.25，ROC曲线下面积为0.57）。我们的研究结果表明，仅依靠计算机系统进行的立场预测是一项具有挑战性的任务。我们对数据及系统行为的分析表明，需要一种将更大型训练数据集的使用与人在回路（human-in-the-loop）对系统预测提供反馈的设置相结合的方法。