关于在对话行为识别神经网络中使用 word2vec 表示的影响
计算与语言
2020-10-23 v1
摘要
对话行为识别是大量自然语言处理流程中的一个重要组成部分。该领域已开展许多研究工作，但相对较少探讨深度神经网络与词嵌入。考虑到这两种技术在大多数其他语言相关领域均已证明异常出色，这令人惊讶。我们在本工作中提出一种新的深度神经网络，探索循环模型以捕获句子内的词序列，并进一步研究预训练词嵌入的影响。我们在三种语言上验证该模型：英语、法语和捷克语。所提方法的性能在这些语言上表现一致，并与英语上的最先进结果相当。更重要的是，我们确认深度神经网络确实优于最大熵分类器，这在预期之中。然而，更令人惊讶的是，我们还发现标准 word2vec 嵌入似乎并未为该任务及所提模型带来有价值的信息，无论训练语料库规模如何。因此我们进一步分析所得嵌入并得出结论，一种可能的解释或许与 word2vec 嵌入所捕获的词汇语义信息类型，以及对话行为识别任务中最有用的词间关系类型之间的不匹配有关。
关键词
引用
@article{arxiv.2010.11490,
title = {On the Effects of Using word2vec Representations in Neural Networks for Dialogue Act Recognition},
author = {Christophe Cerisara and Pavel Kral and Ladislav Lenc},
journal= {arXiv preprint arXiv:2010.11490},
year = {2020}
}