胶囊网络间的图路由
机器学习
2021-06-23 v1 人工智能
计算与语言
摘要
胶囊网络中的路由方法通常学习连续层中胶囊的层次关系，而同一层内胶囊之间的内部关系研究较少，然而该内部关系是基于文本数据的语义理解的关键因素。因此，本文引入一种带图路由的新型胶囊网络，以同时学习两种关系，其中每层中的胶囊被视为图的节点。我们研究了由一层胶囊以三种不同距离生成邻接矩阵与度矩阵的策略，并提出了这些胶囊之间的图路由机制。我们在五个文本分类数据集上验证了该方法，结果表明结合自底向上路由与自顶向下注意力的方案表现最佳。该方案展现出跨数据集的泛化能力。与最先进的路由方法相比，我们所用的五个数据集上准确率分别提升了0.82、0.39、0.07、1.01和0.02。
引用
@article{arxiv.2106.11531,
title = {Graph Routing between Capsules},
author = {Yang Li and Wei Zhao and Erik Cambria and Suhang Wang and Steffen Eger},
journal= {arXiv preprint arXiv:2106.11531},
year = {2021}
}