基于嵌入的检索中的完整性与噪声失效处理：社交网络搜索案例研究
信息检索
2023-04-20 v1 人工智能
摘要
基于嵌入的检索已应用于多种搜索场景，如电商、社交网络搜索等。尽管该方法在语义匹配与上下文搜索等任务中展现出效用，却受困于相关性不可控的问题。本文对 2021 年初上线于我们社交网络搜索引擎的基于嵌入的检索进行分析，并定义其引入的两类主要失效：完整性与噪声。前者指仇恨言论与攻击性内容等会严重损害用户体验的问题，后者包括模糊文本匹配或语言不匹配等不相关结果。我们进一步提出模型推理期间的高效方法以解决该问题，包括索引处理与定向用户群处理等。尽管简单，我们展示这些方法在离线 NDCG 与在线 A/B 测试指标上均取得实际增益。我们分析了改进原因，指出我们的方法仅是针对这一重要但具挑战性问题的初步尝试。我们提出潜在的未来探索方向。
引用
@article{arxiv.2304.09287,
title = {Integrity and Junkiness Failure Handling for Embedding-based Retrieval: A Case Study in Social Network Search},
author = {Wenping Wang and Yunxi Guo and Chiyao Shen and Shuai Ding and Guangdeng Liao and Hao Fu and Pramodh Karanth Prabhakar},
journal= {arXiv preprint arXiv:2304.09287},
year = {2023}
}