用于文本分类的双状态胶囊网络
计算与语言
2021-09-13 v1 机器学习
摘要
基于上下文嵌入的文本分类系统对于许多低资源语言而言并非可行的选择。另一方面，最近引入的胶囊网络已展现出与这些文本分类模型相媲美的性能。因此，对于没有预训练上下文嵌入模型的语言，胶囊网络可以被视为文本分类的可行替代方案。然而，当前的胶囊网络依赖于空间模式，而未考虑文本的序列特征。它们在捕获较长序列的上下文级信息方面也不理想。本文提出了一种新颖的基于双状态胶囊（DS-Caps）网络的文本分类技术，该技术经过优化以缓解这些问题。两种状态变体，即句子级和词级，与胶囊层相集成，以捕获用于语言建模的更深层上下文级信息。胶囊间的动态路由过程也利用了通过句子级状态获取的上下文级信息进行了优化。DS-Caps 网络在多个数据集上优于现有的胶囊网络架构，特别是在具有较长文本序列的任务中。我们还展示了 DS-Caps 在低资源语言文本分类中的优越性。
引用
@article{arxiv.2109.04762,
title = {Dual-State Capsule Networks for Text Classification},
author = {Piyumal Demotte and Surangika Ranathunga},
journal= {arXiv preprint arXiv:2109.04762},
year = {2021}
}
备注
9 pages