高棉语词汇搜索：挑战、解决方案与语义感知搜索
计算与语言
2021-12-17 v1
摘要
搜索是电子词典、搜索引擎和电子商务平台等数字平台与应用中的关键功能之一。虽然某些语言的搜索功能微不足道，但高棉语因其复杂的书写系统使得词汇搜索颇具挑战。字符的多种顺序以及词汇的不同拼写形式对高棉语词汇搜索功能施加了限制。此外，由于各输入设备平台上并不普遍提供健壮的拼写检查器，拼写错误十分常见。这些挑战阻碍了高棉语在嵌入搜索的应用中的使用。而且，由于缺乏类似 WordNet 的词汇数据库，无法建立词间语义关系，从而实现语义搜索。本文中，我们针对与上述高棉语词汇搜索相关的挑战提出了一套健壮的解决方案。所提方案包括字符顺序归一化、基于字素与音素的拼写检查器，以及高棉语词汇语义模型。该语义模型基于在 3000 万词语料上训练的词嵌入模型，用于捕捉词间语义相似度。
引用
@article{arxiv.2112.08918,
title = {Khmer Word Search: Challenges, Solutions, and Semantic-Aware Search},
author = {Rina Buoy and Nguonly Taing and Sovisal Chenda},
journal= {arXiv preprint arXiv:2112.08918},
year = {2021}
}