基于LSTM的 plagiarism 检测:通过注意力机制与基于种群的方法预训练不平衡类参数
机器学习
2021-10-19 v1 人工智能
神经与进化计算
摘要
抄袭是学术与工业环境中的主要问题之一,其目标是在典型文档或源代码中查找相似项。本文提出一种基于长短期记忆(LSTM)与注意力机制的架构,称为LSTM-AM-ABC,并通过基于种群的方法进行参数初始化以增强性能。基于梯度的优化算法(如反向传播(BP))在文献中广泛用于LSTM、注意力机制和前馈神经网络的学习过程,但它们存在陷入局部最优等问题。为解决该问题,可采用基于种群的元启发式(PBMH)算法。为此,本文采用一种PBMH算法——人工蜂群(ABC)来缓解该问题。我们提出的算法可同时为所有LSTM、注意力机制和前馈神经网络寻找模型学习的初值。换言之,ABC算法为启动BP算法找到一个有希望的点。为评估,我们将所提算法与常规方法及基于种群的方法比较。结果清晰显示所提方法能提供具竞争力的性能。
引用
@article{arxiv.2110.08771,
title = {An LSTM-based Plagiarism Detection via Attention Mechanism and a Population-based Approach for Pre-Training Parameters with imbalanced Classes},
author = {Seyed Vahid Moravvej and Seyed Jalaleddin Mousavirad and Mahshid Helali Moghadam and Mehrdad Saadatmand},
journal= {arXiv preprint arXiv:2110.08771},
year = {2021}
}
备注
12 pages, The 28th International Conference on Neural Information Processing (ICONIP2021), BALI, Indonesia