您是指……？基于置信度的语义解析权衡
计算与语言
2023-10-23 v3
摘要
我们阐释了一个经过校准的模型如何帮助平衡面向任务解析中的常见权衡。在一个模拟的人机协同标注实验中，我们展示良好校准的置信度分数使我们能够平衡成本与标注者负载，以少量交互提升准确率。随后我们考察置信度分数如何帮助优化可用性与安全性之间的权衡。我们展示基于置信度的阈值化可大幅减少被执行的不正确低置信度程序数量；然而，这以可用性为代价。我们提出DidYouMean系统，可更好地平衡可用性与安全性。
引用
@article{arxiv.2303.16857,
title = {Did You Mean...? Confidence-based Trade-offs in Semantic Parsing},
author = {Elias Stengel-Eskin and Benjamin Van Durme},
journal= {arXiv preprint arXiv:2303.16857},
year = {2023}
}
备注
EMNLP 2023, Camera ready. arXiv admin note: substantial text overlap with arXiv:2211.07443