词分割对越南语情感分类是否必要？
计算与语言
2023-01-03 v1
摘要
据我们所知，本文首次尝试回答词分割对越南语情感分类是否必要。为此，我们提出了五个基于 S4 的越南语预训练单语语言模型，包括一个不进行词分割的模型，以及在数据预处理阶段使用 RDRsegmenter、uitnlp、pyvi 或 underthesea 工具包的四个模型。根据在两个语料库（包括来自新闻和社交媒体的技术文章评论的 VLSP2016-SA 语料库，以及教育调查语料库 UIT-VSFC）上的综合实验结果，我们有两点建议。首先，使用朴素贝叶斯或支持向量机等传统分类器时，对于来自社交领域的越南语情感分类语料库，词分割可能并非必要。其次，当在使用 BPE 方法并输入深度学习模型之前使用词分割时，词分割对越南语情感分类是必要的。在这种情况下，RDRsegmenter 是 uitnlp、pyvi 和 underthesea 工具包中稳定的词分割工具包。
引用
@article{arxiv.2301.00418,
title = {Is word segmentation necessary for Vietnamese sentiment classification?},
author = {Duc-Vu Nguyen and Ngan Luu-Thuy Nguyen},
journal= {arXiv preprint arXiv:2301.00418},
year = {2023}
}
备注
In Proceedings of the 16th International Conference on Computing and Communication Technologies (RIVF 2022)