有趣且有主见但过于主导：对开放域 Alexa Prize 系统的大规模用户研究
计算与语言
2019-08-15 v1 人机交互
摘要
对话系统通常聚焦于功能性任务，如安排约会或创建待办列表。相反，我们设计并评估了 SlugBot（SB）——2018 年 AlexaPrize 的 8 个半决赛系统之一，其目标是支持休闲开放域社交互动。这一新颖应用既需要广泛的话题覆盖，又需要引人入胜的互动技能。我们开发了一种新技术路径以应对这一苛刻情境：通过众包新颖内容，并引入基于讲故事与游戏的俏皮对话策略。作为 Alexa Prize 竞赛的一部分，我们在 2018 年 8 月收集了超过 10,000 段对话。我们还进行了一次实验室内后续定性评估。总体而言，用户认为 SB 具有一定吸引力；对话平均时长 3.6 分钟，涉及 26 个用户轮次。然而，用户对不同对话子类型的反应差异很大。讲故事与游戏获得正面评价；它们被视为具有可预测互动结构且富有趣味性。它们还使用户将个性与智能赋予 SB。相比之下，搜索与通用闲聊引发了覆盖问题；用户在此难以推断 SB 能理解哪些话题，认为这些对话过于由系统驱动。理论与设计启示表明应摆脱仅提供事实信息的对话系统。未来系统应被设计成拥有自身观点与可分享的个人故事，而 SB 提供了一个我们如何实现此目标的范例。
引用
@article{arxiv.1908.04832,
title = {Entertaining and Opinionated but Too Controlling: A Large-Scale User Study of an Open Domain Alexa Prize System},
author = {Kevin K. Bowden and Jiaqi Wu and Wen Cui and Juraj Juraska and Vrindavan Harrison and Brian Schwarzmann and Nicholas Santer and Steve Whittaker and Marilyn Walker},
journal= {arXiv preprint arXiv:1908.04832},
year = {2019}
}
备注
To appear in 1st International Conference on Conversational User Interfaces (CUI 2019)