面向智能城市的社交媒体文本处理与语义分析

随着社交媒体的兴起，人们几乎全天候（24/7）即时获取并分享信息。许多研究领域试图从这些大量自由可用的用户生成内容中获得有价值的见解。为了从社交媒体流中提取可能用于智能交通系统与智能城市背景下的知识，我们设计开发了一个框架，提供从多个预定义边界框（城市或区域）并行收集地理标记推文的功能，包括过滤不合规推文、葡萄牙语和英语的文本预处理、主题建模、交通专用文本分类器，以及聚合与数据可视化。我们对5个不同城市（里约热内卢、圣保罗、纽约市、伦敦和墨尔本）的地理标记推文进行了探索性数据分析，在3个月内共计超过4300万条推文。此外，我们进行了里约热内卢与圣保罗之间大规模主题建模比较。有趣的是，大多数主题在两城市间共享，尽管它们同属一个国家，但在人口、经济和生活方式上被认为差异很大。我们利用词嵌入的最新进展，从地理标记推文集合中训练此类表示。然后，我们结合使用词嵌入袋与传统词袋来训练葡萄牙语和英语的旅行相关分类器，以从非相关内容中过滤出旅行相关内容。我们创建了特定的黄金标准数据来对所得分类器进行实证评估。结果通过展示使用词嵌入学习词袋无法捕捉的词相似性的鲁棒性，与其他应用领域的科研工作相符。