HERALD：一种用于检测社交对话中用户脱离的高效标注方法
计算与语言
2021-06-03 v2
摘要
开放域对话系统以用户为中心，目标是为人类提供引人入胜的对话体验。用户参与度是评估开放域对话系统最重要的指标之一，也可作为实时反馈以促进对话策略学习。现有关于检测用户脱离的工作通常需要手工标注大量对话样本。我们提出 HERALD，一种高效的标注框架，将训练数据标注过程重新定义为去噪问题。具体而言，我们不再手动标注训练样本，而是首先使用一组标注启发式规则自动标注训练样本，随后利用 Shapley 算法对弱标注数据进行去噪，最后使用去噪后的数据训练用户参与度检测器。我们的实验表明，HERALD 显著提升了标注效率，并在两个对话语料库上达到了 86% 的用户脱离检测准确率。
引用
@article{arxiv.2106.00162,
title = {HERALD: An Annotation Efficient Method to Detect User Disengagement in Social Conversations},
author = {Weixin Liang and Kai-Hui Liang and Zhou Yu},
journal= {arXiv preprint arXiv:2106.00162},
year = {2021}
}
备注
ACL 2021. Code & data available at https://github.com/Weixin-Liang/HERALD/