AI 中实体解析的低成本相关性生成与评估指标
信息论
2022-05-23 v1 人工智能
math.IT
摘要
语音助手中的实体解析（ER）是运行时的核心组件，将用户请求中的实体解析为真实世界实体。ER 包含两大功能：1. 相关性生成；2. 排序。本文中，我们利用客户隐式与显式反馈信号生成特征，提出一种低成本相关性生成框架。所生成的相关性数据集可作为测试集以衡量 ER 性能。我们还引入一组能准确多维度量 ER 系统性能的指标体系。它们为深入探查并定位 ER 问题的根因（无论问题出于相关性生成还是排序）提供了极佳的可解释性。
引用
@article{arxiv.2205.10298,
title = {Low-cost Relevance Generation and Evaluation Metrics for Entity Resolution in AI},
author = {Venkat Varada and Mina Ghashami and Jitesh Mehta and Haotian Jiang and Kurtis Voris},
journal= {arXiv preprint arXiv:2205.10298},
year = {2022}
}
备注
6 pages, 3 figures