使用 Transformers 的孟加拉语文本分类
计算与语言
2020-11-10 v1 机器学习
摘要
文本分类一直是 NLP 中最早的问题之一。随时间推移，应用领域范围已拓宽，且处理新领域（例如嘈杂的社交媒体内容）的难度已增加。问题求解策略从经典机器学习转向了深度学习算法。近期深度神经网络架构之一是 Transformer。以该类网络及其变体设计的模型近期在许多下游自然语言处理任务中展现了成功，尤其是对资源丰富的语言（例如英语）。然而，这些模型尚未在孟加拉语文本分类任务中得到充分探索。在本工作中，我们在不同领域对多语言 transformer 模型进行微调以用于孟加拉语文本分类任务，包括情感分析、情绪检测、新闻分类与作者归属。我们在六个基准数据集上取得了最先进（state of the art）的结果，在不同任务上相较先前结果提升了 5-29% 的准确率。
引用
@article{arxiv.2011.04446,
title = {Bangla Text Classification using Transformers},
author = {Tanvirul Alam and Akib Khan and Firoj Alam},
journal= {arXiv preprint arXiv:2011.04446},
year = {2020}
}