新闻预测方法——一种结合BERT的精确多层LSTM网络
计算与语言
2022-04-27 v1
摘要
Varieties of Democracy（V-Dem）是一种概念化与度量民主和政治的新方法。它拥有200个国家的信息，是政治科学最大的数据库之一。根据V-Dem 2019年度民主报告，台湾是受外国政府传播虚假信息最多的两个地区之一。报告还显示，“捏造新闻”已在台湾社会造成大量混乱，并对全球稳定产生严重影响。尽管已有若干应用帮助辨别虚假信息，我们发现新闻分类的预处理仍由人力完成。然而，人力可能导致错误且无法长时间工作。近几十年来对自动化机器的日益增长的需求表明，当机器能做到与人类一样好甚至更好时，使用机器可减轻人类负担并降低成本。因此，本工作中我们构建了一个预测模型来对新闻类别进行分类。我们所用的语料库包含从网络报纸自由时报（LTN）网站爬取的28358篇新闻与200篇新闻，涵盖8类：科技、娱乐、时尚、政治、体育、国际、财经与健康。首先，我们使用来自Transformer的双向编码器表示（BERT）进行词嵌入，将每个中文字符转换为一个(1,768)向量。然后，我们使用长短期记忆（LSTM）层将词嵌入转换为句子嵌入，并添加另一个LSTM层将其转换为文档嵌入。每个文档嵌入是最终预测模型的输入，该模型包含两个全连接层与一个激活层。每个文档嵌入被转换为含8个实数的1个向量，其后最大值所对应的类别即为8类新闻之一，准确率高达99%。
引用
@article{arxiv.2204.12093,
title = {Approach to Predicting News -- A Precise Multi-LSTM Network With BERT},
author = {Chia-Lin Chen and Pei-Yu Huang and Yi-Ting Huang and Chun Lin},
journal= {arXiv preprint arXiv:2204.12093},
year = {2022}
}
备注
Accepted by The 25th International Conference on Information Management & Practice (IMP) 2019