颗粒度变化准确率：一种更精确的对话状态跟踪性能指标
计算与语言
2024-03-19 v1
摘要
当前用于评估对话状态跟踪（DST）系统的指标存在三个主要局限性。它们：i) 错误地假设槽位在整个对话中呈均匀分布，ii) 忽略了对单个对话轮次分配部分分数，iii) 通过反复计算模型成功或失败的预测而频繁高估或低估性能。为了解决这些缺陷，我们引入了一种新指标：颗粒度变化准确率（GCA）。GCA 侧重于评估整个对话历史中对话状态的预测变化。基准测试表明，GCA 有效减少了由分布均匀性和跨轮次错误位置引起的偏差，从而实现更精确的评估。值得注意的是，我们发现这些偏差在评估少样本或零样本训练模型时尤为明显，并且随着模型错误率的增加而变得更加显著。因此，GCA 提供了显著的潜力，特别是对于评估用有限资源训练的模型。我们的 GCA 实现是 DST 指标库的一个有用补充。
引用
@article{arxiv.2403.11123,
title = {Granular Change Accuracy: A More Accurate Performance Metric for Dialogue State Tracking},
author = {Taha Aksu and Nancy F. Chen},
journal= {arXiv preprint arXiv:2403.11123},
year = {2024}
}
备注
Accepted to COLING 2024