ConvAbuse:面向对话式 AI 中细粒度滥用检测的数据、分析与基准
计算与语言
2021-09-21 v1 人机交互
摘要
我们呈现了首个针对三种“真实环境”中收集的对话式 AI 系统的英语语料库研究:一个开放域社交机器人、一个基于规则的聊天机器人以及一个基于任务的系统。为应对该任务的复杂性,我们采取了一种更为“细粒度”的方法,其中我们的 ConvAI 数据集反映了精细的滥用概念,以及多位专家标注者的观点。我们发现,与其他常用数据集相比,滥用的分布截然不同,对这些系统虚拟角色的性暗示攻击更为突出。最后,我们报告了现有模型在该数据上基准测试的结果。毫不意外,我们发现仍有很大改进空间,F1 分数低于 90%。
引用
@article{arxiv.2109.09483,
title = {ConvAbuse: Data, Analysis, and Benchmarks for Nuanced Abuse Detection in Conversational AI},
author = {Amanda Cercas Curry and Gavin Abercrombie and Verena Rieser},
journal= {arXiv preprint arXiv:2109.09483},
year = {2021}
}
备注
To be published in the 2021 Conference on Empirical Methods for Natural Language Processing (EMNLP2021)