AB/BA 分析：一种在保持音频隐私的同时估计关键词 spotting 召回率提升的框架
声音
2022-04-20 v1 密码学与安全
机器学习
音频与语音处理
摘要
在现实隐私约束下评估检测语音中关键词的关键词 spotting (KWS) 系统是一项具有挑战性的任务。KWS 被设计为仅在关键词出现时收集数据，限制了可能包含假阴性的困难样本的可用性，并阻止从生产数据直接估计模型召回率。 alternatively，从其他来源收集的补充数据可能无法完全代表真实应用。在这项工作中，我们提出一种称为 AB/BA 分析的评估技术。我们的框架使用跨数据集离线解码对候选 KWS 模型 B 与基线模型 A 进行评估，以进行相对召回率估计，且不需要负例。此外，我们提出一种带有假设的公式，即使在假阳性数量较少时也能以低方差估计模型间的相对假阳性率。最后，我们提出利用机器生成的软标签，在我们称为半监督 AB/BA 分析的技术中，改善分析时间、隐私和成本。基于仿真和真实数据的实验表明，AB/BA 分析能成功度量召回率提升以及相对假阳性率之间的权衡。
引用
@article{arxiv.2204.08474,
title = {AB/BA analysis: A framework for estimating keyword spotting recall improvement while maintaining audio privacy},
author = {Raphael Petegrosso and Vasistakrishna Baderdinni and Thibaud Senechal and Benjamin L. Bullough},
journal= {arXiv preprint arXiv:2204.08474},
year = {2022}
}
备注
Accepted to NAACL 2022 Industry Track