Transit Pulse:利用大型语言模型从社交媒体中提取客户反馈与信息
计算与语言
2024-10-22 v1 人工智能
计算机与社会
信息检索
机器学习
社会与信息网络
摘要
交通系统用户每天会在社交网络上发布大量包含关键见解的消息,这些见解对于改进服务质量至关重要。这些帖子帮助交通机构快速识别新出现的议题。解析话题和情感是从综合角度获取见解以促进卓越服务的关键。然而,信息量庞大使得手动分析变得不可行,传统NLP技术如术语频率-逆文档频率(TF-IDF)在细致解读方面不足。传统情感分析将话题和情感分离处理,常常忽略它们之间的相互作用,这增加了分类复杂度并降低了分析效率。为此,我们提出一种新方法,用于从社交媒体中提取和分析交通相关信息,包括情感和讽刺检测、异常系统问题识别以及位置数据。该方法采用大型语言模型(LLM),具体为Llama 3,进行无需预设话题标签的简化分析。为增强模型的领域特定知识,我们利用检索增强生成(RAG)将外部知识源整合到信息提取流程中。我们通过在真实交通系统用户推文数据上的大量实验,对比传统NLP方法的表现,验证了我们方法的有效性。我们的结果表明,大型语言模型有望变革公共交通领域的社交媒体数据分析,提供可操作的见解,并通过从更广泛的信息中提取见解,提高交通机构的响应能力。
引用
@article{arxiv.2410.15016,
title = {Transit Pulse: Utilizing Social Media as a Source for Customer Feedback and Information Extraction with Large Language Model},
author = {Jiahao Wang and Amer Shalaby},
journal= {arXiv preprint arXiv:2410.15016},
year = {2024}
}
备注
17 pages, 21 figures