大规模语料语义相似度分析的认知研究：一种基于 Transformer 的方法
计算与语言
2023-06-27 v3 人工智能
神经与进化计算
摘要
语义相似度分析与建模是当今自然语言处理许多前沿应用中一项公认的基础性任务。得益于序列模式识别的敏感性，许多神经网络如 RNN 和 LSTM 在语义相似度建模中取得了令人满意的结果。然而，这些方案因无法以非序列方式处理信息而被视为低效，从而导致上下文提取不当。Transformer 凭借非序列数据处理和自注意力等优势成为最先进的架构。本文中，我们使用传统技术与基于 transformer 的技术，在美国专利短语到短语匹配数据集上执行语义相似度分析与建模。我们对四种不同的解码增强 BERT（DeBERTa）变体进行实验，并通过执行 K 折交叉验证提升其性能。实验结果表明，相较传统技术，我们的方法性能更优，平均 Pearson 相关系数为 0.79。
引用
@article{arxiv.2207.11716,
title = {A Cognitive Study on Semantic Similarity Analysis of Large Corpora: A Transformer-based Approach},
author = {Praneeth Nemani and Satyanarayana Vollala},
journal= {arXiv preprint arXiv:2207.11716},
year = {2023}
}