Z-Scores：用于语言评估不流畅性移除的指标
计算与语言
2025-09-25 v1 人工智能
音频与语音处理
摘要
评估语音中的不流畅性移除需要的不仅仅是汇总级别的令牌分数。传统的基于词的指标如精确率、召回率和F1（E-Scores）虽然能捕捉整体性能，但无法揭示模型成功或失败的原因。我们引入了Z-Scores，一种基于片段级、语言学基础的评估指标，将系统行为按不同的不流畅类型（EDITED、INTJ、PRN）进行分类。我们的确定性对齐模块实现了生成文本与不流畅转录之间的稳健映射，使Z-Scores能够揭示词级指标所掩盖的系统性弱点。通过提供类别特定的诊断，Z-Scores使研究人员能够识别模型失败模式并设计针对性干预措施——如定制提示或数据增强——从而产生可衡量的性能提升。一项针对大型语言模型的案例研究表明，Z-Scores揭示了隐藏在汇总F1中的INTJ和PRN不流畅性挑战，直接为模型改进策略提供了信息。
引用
@article{arxiv.2509.20319,
title = {Z-Scores: A Metric for Linguistically Assessing Disfluency Removal},
author = {Maria Teleki and Sai Janjur and Haoran Liu and Oliver Grabner and Ketan Verma and Thomas Docog and Xiangjue Dong and Lingfeng Shi and Cong Wang and Stephanie Birkelbach and Jason Kim and Yin Zhang and James Caverlee},
journal= {arXiv preprint arXiv:2509.20319},
year = {2025}
}