基于 ERNIE 预训练模型的双通道新闻标题分类研究
计算与语言
2022-02-15 v1 人工智能
摘要
新闻标题分类是自然语言处理（NLP）领域的一个重要方向，其数据具有紧凑、独特和形式多样的特点。针对传统神经网络模型无法充分捕获数据底层特征信息、无法联合提取关键全局特征与深度局部特征的问题，提出了一种基于 ERNIE 预训练模型的双通道网络模型 DC-EBAD。利用 ERNIE 提取文本底层的词法、语义和上下文特征信息，生成融合上下文的动态词向量表示，随后使用 BiLSTM-AT 网络通道对数据的全局特征进行二次提取，并利用注意力机制赋予关键部分更高权重；DPCNN 通道用于克服长距离文本依赖问题并获取深度局部特征。将局部与全局特征向量拼接，最终传入全连接层，通过 Softmax 输出最终分类结果。实验结果表明，在相同条件下，所提模型相比传统神经网络模型和单通道模型提升了新闻标题分类的准确率、精确率和 F1-score。可见其能够在大数据量下的新闻标题文本多分类应用中表现良好。
引用
@article{arxiv.2202.06600,
title = {Research on Dual Channel News Headline Classification Based on ERNIE Pre-training Model},
author = {Junjie Li and Hui Cao},
journal= {arXiv preprint arXiv:2202.06600},
year = {2022}
}