ASR 转写文本中用于实体分布建模的记录去重
计算与语言
2023-06-13 v1
摘要
语音数字助手必须跟上 trending 搜索查询。我们依赖一个使用上下文偏置的语音识别模型，配合快速更新的实体集合，而非频繁重训练模型，以跟上趋势。该方法面临若干挑战：（1）实体集合必须频繁重建，（2）由于延迟与准确率的权衡，实体集合规模有限，（3）ASR 误识别使寻找用于偏置的真实实体分布变得复杂。我们应对这些挑战，并利用来自实体解析领域的记录去重技术，通过建模生产环境中 ASR 输出里客户真实请求的实体分布来定义实体集合。记录去重解析或去重同一潜在实体的共指，包括误识别。我们的方法成功检索了 95% 的误识别实体，且当用于上下文偏置时显示出约 5% 的相对词错误率降低。
引用
@article{arxiv.2306.06246,
title = {Record Deduplication for Entity Distribution Modeling in ASR Transcripts},
author = {Tianyu Huang and Chung Hoon Hong and Carl Wivagg and Kanna Shimizu},
journal= {arXiv preprint arXiv:2306.06246},
year = {2023}
}