RBA-GCN：用于情感识别的关系式双层聚合图卷积网络
人工智能
2023-09-01 v2 机器学习
摘要
对话中的情感识别（ERC）因应用广泛而受到研究者越来越多的关注。由于对话具有天然的图结构，许多基于图卷积网络（GCN）对 ERC 建模的方法已取得显著成果。然而，传统 GCN 的聚合方式存在节点信息冗余问题，导致节点判别信息丢失。此外，单层 GCN 缺乏从图中捕获长程上下文信息的能力。并且，大多数方法基于文本模态或将不同模态拼接，导致捕获模态间交互的能力较弱。为解决这些问题，我们提出关系式双层聚合图卷积网络（RBA-GCN），其由三个模块组成：图生成模块（GGM）、基于相似度的簇构建模块（SCBM）和双层聚合模块（BiAM）。首先，GGM 构建一种新颖的图以减少目标节点信息的冗余。然后，SCBM 计算目标节点及其结构邻域中的节点相似度，过滤掉低相似度的噪声信息以保留节点的判别信息。同时，BiAM 是一种新颖的聚合方法，能在聚合过程中保留节点信息。该模块可基于相似度簇构建不同模态间的交互并捕获长程上下文信息。在 IEMOCAP 和 MELD 数据集上，RBA-GCN 的加权平均 F1 分数比最先进的方法提高了 2.175.21\%。我们的代码见 https://github.com/luftmenscher/RBA-GCN，同名文章已发表于 IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol.31, 2023。
引用
@article{arxiv.2308.11029,
title = {RBA-GCN: Relational Bilevel Aggregation Graph Convolutional Network for Emotion Recognition},
author = {Lin Yuan and Guoheng Huang and Fenghuan Li and Xiaochen Yuan and Chi-Man Pun and Guo Zhong},
journal= {arXiv preprint arXiv:2308.11029},
year = {2023}
}