基于上下文嵌入的卷积神经网络在重复问题识别中的应用
计算与语言
2021-09-07 v2
摘要
问题复述识别（QPI）是大规模问答论坛中的一项关键任务。QPI的目的是判断给定的一对问题是否在语义上相同。此前该任务的方法已取得可喜结果，但往往依赖复杂的循环机制，其本质昂贵且耗时。本文中，我们提出了一种将双向Transformer编码器与卷积神经网络相结合的新型架构用于QPI任务。我们使用两种不同的推理设置——孪生（Siamese）和匹配聚合（Matched Aggregation）——从所提架构产生预测。实验结果表明，我们的模型在Quora Question Pairs数据集上达到了最先进的性能。我们经验性地证明，在模型架构中加入卷积层可改善两种推理设置下的结果。我们还研究了部分与完全微调的影响，并分析了此过程中计算资源与准确率之间的权衡。基于所得结果，我们得出结论：匹配聚合设置始终优于孪生设置。我们的工作为QPI任务中哪些架构组合与设置更可能产出更好结果提供了见解。
引用
@article{arxiv.2109.01560,
title = {Contextualized Embeddings based Convolutional Neural Networks for Duplicate Question Identification},
author = {Harsh Sakhrani and Saloni Parekh and Pratik Ratadiya},
journal= {arXiv preprint arXiv:2109.01560},
year = {2021}
}
备注
Accepted at the Workshop on Applied Semantics Extraction and Analytics at the 30th International Joint Conference on Artificial Intelligence (IJCAI-ASEA), 2021