神经子图探索器:通过面向目标的句法图剪枝降低噪声信息
计算与语言
2022-05-24 v1 人工智能
摘要
近年来,利用句法图进行目标情感分类任务取得了新兴成功。然而,我们发现现有基于句法的模型存在两个问题:噪声信息聚合与远距离关联丢失。本文提出一种称为神经子图探索器(Neural Subgraph Explorer)的新模型,其(1)通过在句法图上剪枝与目标无关的节点来降低噪声信息;(2)将目标与其相关词之间有益的一阶连接引入所得图。具体而言,我们设计了一个多跳动作分数估计器,以评估每个词针对特定目标的价值。离散动作序列通过 Gumble-Softmax 采样,随后用于句法图与自注意力图。为引入目标与其相关词之间的一阶连接,将两个剪枝后的图合并。最后,在所得统一图上执行图卷积以更新隐状态。该过程以多层堆叠。据我们所知,这是该任务中首次进行面向目标的句法图剪枝的尝试。实验结果证明了我们模型的优越性,其达到了新的 SOTA 性能。
引用
@article{arxiv.2205.10970,
title = {Neural Subgraph Explorer: Reducing Noisy Information via Target-Oriented Syntax Graph Pruning},
author = {Bowen Xing and Ivor W. Tsang},
journal= {arXiv preprint arXiv:2205.10970},
year = {2022}
}
备注
To appear in IJCAI 2022