融合BERT与多种嵌入方法提取信息及深度神经网络用于幽默检测
计算与语言
2021-05-12 v1 人工智能
摘要
近年来，从句子中检测幽默一直是一项有趣且具有挑战性的任务。在突出幽默检测的研究中，大多数工作采用传统的嵌入方法，如Word2Vec或Glove。最近BERT句子嵌入也被用于该任务。本文提出一种从新闻标题短文本中检测幽默的框架。我们提出的框架（IBEN）试图通过BERT的不同层从文本中提取信息。经过多次试验，为BERT模型的不同层分配了权重。随后将提取的信息作为嵌入矩阵送入Bi-GRU神经网络。我们利用了若干外部嵌入模型的特性。神经网络中的多核卷积也被用于提取更高层次的句子表示。该框架在幽默检测任务上表现优异。
引用
@article{arxiv.2105.05112,
title = {Integrating extracted information from bert and multiple embedding methods with the deep neural network for humour detection},
author = {Rida Miraj and Masaki Aono},
journal= {arXiv preprint arXiv:2105.05112},
year = {2021}
}