面向可扩展且可靠的胶囊网络以应用于挑战性 NLP 任务
计算与语言
2019-06-10 v1
摘要
阻碍胶囊网络应用于挑战性 NLP 任务的障碍包括向大规模输出空间的可扩展性差，以及路由过程可靠性较低。在本文中，我们引入：1）一种在实例层面评估路由过程性能的协议分数（agreement score）；2）一种增强路由可靠性的自适应优化器；3）胶囊压缩与部分路由以提升胶囊网络的可扩展性。我们在两项 NLP 任务上验证我们的方法，即：多标签文本分类与问答。实验结果表明，我们的方法在两项任务上均大幅优于强竞争对手。此外，在少训练实例的低资源设定下，我们取得了最佳结果。
引用
@article{arxiv.1906.02829,
title = {Towards Scalable and Reliable Capsule Networks for Challenging NLP Applications},
author = {Wei Zhao and Haiyun Peng and Steffen Eger and Erik Cambria and Min Yang},
journal= {arXiv preprint arXiv:1906.02829},
year = {2019}
}
备注
11 pages, ACL19 Camera Ready