OpenPI-C：面向开放词汇状态跟踪的更优基准与更强基线
计算与语言
2023-06-22 v2
摘要
开放词汇状态跟踪是状态跟踪的一种更实用版本，旨在跟踪整个过程中实体的状态变化，而不限制状态空间和实体空间。OpenPI 是迄今为止唯一为开放词汇状态跟踪进行标注的数据集。然而，我们发现了其数据集质量和评估指标存在的问题。对于数据集，我们分别在过程级、步骤级和状态变化级对 3 类问题进行了分类，并使用多轮人工判断构建了干净的数据集 OpenPI-C。对于评估指标，我们提出了一种基于聚类的指标，以修复原指标对重复的偏好。在模型方面，我们通过恢复状态跟踪的两个关键属性——时间依赖性和实体感知——来增强 seq2seq 生成基线。动作发生后世界的状态本质上依赖于前一个状态。我们通过动态记忆库对此依赖关系进行建模，并允许模型在解码期间关注记忆槽。另一方面，世界的状态自然是所涉及实体状态的并集。由于在开放词汇设置中实体是未知的，我们提出了一种两阶段模型，该模型基于第一阶段预测的实体来细化状态变化预测。实验结果表明，我们提出的模型非常有效，特别是在基于聚类的指标上。代码和数据已发布于 https://github.com/shirley-wu/openpi-c
引用
@article{arxiv.2306.00887,
title = {OpenPI-C: A Better Benchmark and Stronger Baseline for Open-Vocabulary State Tracking},
author = {Xueqing Wu and Sha Li and Heng Ji},
journal= {arXiv preprint arXiv:2306.00887},
year = {2023}
}
备注
ACL 2023 findings (fix typo)