MetRoBERTa：利用传统客户关系管理数据开发交通主题感知语言模型
人工智能
2023-08-10 v1
摘要
公交乘客在乘车调查、客户关系管理（CRM）渠道以及更近时期通过社交媒体提供的反馈，是公交机构更好衡量其服务与举措成效的关键。通过这些渠道中的反馈整体理解乘客体验通常具有挑战性，主要由于文本反馈的开放式、非结构化性质。在本文中，我们提出利用传统公交 CRM 反馈来开发并部署一个交通主题感知大语言模型（LLM），能够对开放式文本反馈分类至相关交通特定主题。首先，我们利用半监督学习在工程化训练数据集，该数据集包含从华盛顿都会区交通局（WMATA）提供的 6 年客户反馈语料中检测出的 11 个广泛交通主题。随后我们使用该数据集基于 RoBERTa 架构训练并充分评估一个语言模型。我们将我们的 LLM（MetRoBERTa）与利用基于关键词和词典表示的经典机器学习方法比较。我们的模型在所有评估指标上优于那些方法，提供平均主题分类准确率 90%。最后，我们给出本工作的价值主张，展示该语言模型连同额外文本处理工具如何应用于为 Twitter 等开放式文本反馈源添加结构。我们提出的框架与结果为大规模摄取、可视化和报告公交乘客反馈的自动化、可泛化方法提供路径，使机构能更好理解并改善客户体验。
引用
@article{arxiv.2308.05012,
title = {MetRoBERTa: Leveraging Traditional Customer Relationship Management Data to Develop a Transit-Topic-Aware Language Model},
author = {Michael Leong and Awad Abdelhalim and Jude Ha and Dianne Patterson and Gabriel L. Pincus and Anthony B. Harris and Michael Eichler and Jinhua Zhao},
journal= {arXiv preprint arXiv:2308.05012},
year = {2023}
}