针对COVID-19疫苗犹豫意图发现的基准数据与评估框架
计算与语言
2022-10-12 v2
摘要
COVID-19大流行造成了巨大的全球影响并夺去了数百万人的生命。随着COVID-19疫苗的推出，它们很快遇到了广泛的犹豫。为解决犹豫人群的关切，我们推出了VIRA，一个旨在解答有关COVID-19疫苗问题和担忧的公开对话系统。在此，我们发布VIRADialogs，一个由真实用户与VIRA进行的超过8k轮对话的数据集，提供了独特的真实世界对话数据。鉴于用户意图因指南更新或对新信息的响应而快速变化，我们强调了在该用例中意图发现这一重要任务。我们引入了一种新颖的意图发现自动评估框架，利用VIRA现有的意图分类器。我们使用该框架在VIRADialogs上报告了基线意图发现结果，凸显了该任务的难度。
引用
@article{arxiv.2205.11966,
title = {Benchmark Data and Evaluation Framework for Intent Discovery Around COVID-19 Vaccine Hesitancy},
author = {Shai Gretz and Assaf Toledo and Roni Friedman and Dan Lahav and Rose Weeks and Naor Bar-Zeev and João Sedoc and Pooja Sangha and Yoav Katz and Noam Slonim},
journal= {arXiv preprint arXiv:2205.11966},
year = {2022}
}