创建一个活的、公开的短消息服务语料库：NUS SMS语料库
计算与语言
2012-09-04 v1
摘要
短消息服务（SMS）消息大多直接从一个人的手机发送到另一个人的手机。它们代表了一种个人通信方式，是我们当前数字时代中一种重要的通信产物。由于现有研究大多使用私有的SMS语料库访问权限，迄今为止尚无法使用相同的原始SMS数据进行对比研究。我们描述了为收集一个公开的SMS语料库以解决此问题所做的努力。我们采用了一系列方法来收集语料库，特别关注隐私问题以回应贡献者的关切。我们的活态项目收集新的SMS消息提交，检查其质量并添加有效消息，每月以XML和SQL转储文件的形式发布生成的语料库，同时提供语料库统计信息。我们尽可能机会性地收集关于消息及其发送者的元数据，以便支持不同类型的分析。迄今为止，我们已收集了约60,000条消息，重点关注英语和汉语普通话。
引用
@article{arxiv.1112.2468,
title = {Creating a Live, Public Short Message Service Corpus: The NUS SMS Corpus},
author = {Tao Chen and Min-Yen Kan},
journal= {arXiv preprint arXiv:1112.2468},
year = {2012}
}
备注
It contains 31 pages, 6 figures, and 10 tables. It has been submitted to Language Resource and Evaluation Journal