TinySearch——基于BERT嵌入的语义搜索引擎
信息检索
2019-08-08 v1 计算与语言
摘要
现有搜索引擎使用关键词匹配或基于tf-idf的匹配将查询映射到网络文档并对其进行排序。它们还考虑其他因素，如PageRank、枢纽与权威得分、知识图谱，以使结果更有意义。然而，当查询变得庞大而复杂时，现有搜索引擎无法捕捉其语义。BERT由Google于2018年提出，可为词及句子提供嵌入。本文中，我开发了一个基于语义的搜索引擎，使用神经网络与BERT嵌入，能够检索查询并按从最相关到最不相关的顺序对文档排序。结果表明，对于给定的文档集合，在复杂查询上相较某现有搜索引擎有所改进。
引用
@article{arxiv.1908.02451,
title = {TinySearch -- Semantics based Search Engine using Bert Embeddings},
author = {Manish Patel},
journal= {arXiv preprint arXiv:1908.02451},
year = {2019}
}