一种结合基于BERT的词嵌入、基于注意力的LSTM与改进差分进化算法的新型剽窃检测方法
计算与语言
2023-05-05 v1 机器学习
神经与进化计算
摘要
检测剽窃涉及在两个不同来源中查找相似项。在本文中，我们提出了一种基于注意力机制的长短期记忆（LSTM）和来自变换器的双向编码器表示（BERT）词嵌入的新型剽窃检测方法，并采用优化的差分进化（DE）方法进行预训练以及采用焦点损失函数进行训练。BERT可纳入下游任务并微调为任务特定的结构，而训练好的BERT模型能够检测各种语言特征。不平衡分类是剽窃检测的主要问题之一。我们提出了一种基于焦点损失的训练技术，该技术仔细学习少数类实例以解决此问题。我们处理的另一个问题是训练阶段本身，其通常采用基于梯度的方法（如反向传播）进行学习过程，因而存在一些缺陷，包括对初始化敏感。为启动反向传播过程，我们提出了一种利用基于聚类的变异算子的新型DE算法。此处，为当前DE种群确定一个获胜簇，并使用一种新的更新方法产生潜在解。我们在三个基准数据集（MSRP、SNLI和SemEval2014）上评估了所提方法，并证明其相较于传统方法和基于种群的方法均表现良好。
引用
@article{arxiv.2305.02374,
title = {A Novel Plagiarism Detection Approach Combining BERT-based Word Embedding, Attention-based LSTMs and an Improved Differential Evolution Algorithm},
author = {Seyed Vahid Moravvej and Seyed Jalaleddin Mousavirad and Diego Oliva and Fardin Mohammadi},
journal= {arXiv preprint arXiv:2305.02374},
year = {2023}
}
备注
The paper is submitted to the related journal