使用孪生结构优化GPT-3嵌入以检测技术帖子重复

技术在线社区的一个目标是帮助开发者在同一个地方找到正确答案。同一个问题可以用不同的措辞以不同方式提出，导致技术论坛上存在重复帖子。如何发现和链接重复帖子已经引起了开发者社区和研究人员的关注。例如，Stack Overflow采用基于投票的机制来标记和关闭重复帖子。然而，及时处理这些不断出现的重复帖子仍然面临挑战。因此，已经提出了各种方法来自动检测技术论坛帖子中的重复帖子。现有方法存在局限性，要么依赖于手工制作的相似度度量，无法充分捕获帖子的语义，要么缺乏监督来提高性能。此外，这些方法的效率受到它们依赖于成对特征生成的限制，这对于大量数据可能不切实际。在这项工作中，我们尝试使用并优化GPT-3嵌入用于重复检测任务。我们假设GPT-3嵌入能够准确表示帖子的语义。此外，通过基于GPT-3嵌入训练一个孪生网络，我们获得了一个潜在嵌入，能够准确捕获技术论坛帖子中的重复关系。我们在基准数据集上的实验证实了我们方法的有效性，并显示出优于基线方法的性能。当应用于我们使用最近Stack Overflow转储构建的数据集时，我们的方法达到了23.1%、43.9%和68.9%的Top-1、Top-5和Top-30准确率。通过人工研究，我们确认了我们的方法在技术论坛上发现未标记重复帖子的潜力。