使用 BERT 等技术估计特定领域数据的语义相似度
计算与语言
2025-06-24 v1 应用统计
摘要
语义相似度估计是一个在自然语言处理和自然语言理解中都重要的研究问题，对各种 downstream 任务具有巨大的应用价值，包括问答、语义搜索、信息检索、文档聚类、词义消歧和机器翻译。在本 work 中，我们使用不同的 state-of-the-art 技术来估计语义相似度，包括 USE（Universal Sentence Encoder）、InferSent 以及最新的 BERT（Bidirectional Encoder Representations from Transformers）模型。我们使用两个 question pairs 数据集进行分析，其中一个是特定领域的内部数据集，另一个是公开的数据集——Quora 的 question pairs 数据集。我们观察到 BERT 模型在其他方法之上提供了 much superior performance。这应该是因为其训练过程中涉及的 fine-tuning 程序，使其能够学习基于所使用的训练数据中 patterns。该 work 表明了 BERT 在特定领域数据集上的适用性。从分析中我们推断，BERT 是处理特定领域数据时的最佳技术。
引用
@article{arxiv.2506.18602,
title = {Semantic similarity estimation for domain specific data using BERT and other techniques},
author = {R. Prashanth},
journal= {arXiv preprint arXiv:2506.18602},
year = {2025}
}
备注
This is a preprint version of an article accepted for publication in the proceedings of Machine Learning and Data Mining 2019