用于评估（语音）成分句法分析的结构化树对齐
计算与语言
2024-06-21 v2 数据结构与算法
摘要
我们提出了结构化平均交并比 (STRUCT-IOU)，这是一种受评估语音解析器问题启发的成分句法树相似性度量。STRUCT-IOU 使得能够比较基于自动识别的口语词边界的成分句法树与基于书面词的黄金标准解析树。为了计算该度量，我们通过强制对齐将黄金标准解析树投影到语音域，在特定结构化约束下将对齐后的黄金标准成分与预测成分进行对齐，并计算所有对齐成分对的平均 IOU 分数。STRUCT-IOU 考虑了词边界，克服了预测词与黄金标准可能不具备完美一一对应关系的挑战。扩展到文本成分句法分析的评估，我们证明 STRUCT-IOU 能够解决 token 不匹配问题，并且相比 PARSEVAL (Black et al., 1991) 对句法上合理的解析表现出更高的容忍度。
引用
@article{arxiv.2402.13433,
title = {Structured Tree Alignment for Evaluation of (Speech) Constituency Parsing},
author = {Freda Shi and Kevin Gimpel and Karen Livescu},
journal= {arXiv preprint arXiv:2402.13433},
year = {2024}
}
备注
ACL 2024 camera-ready