面向社交情境对话机器人的客观评估:通过多模态用户行为评测类人程度
计算与语言
2023-09-26 v2 人机交互
机器人学
摘要
本文致力于评估社交情境对话机器人这一挑战性任务,并提出一种依赖多模态用户行为的新型客观评估方法。本研究主要关注以机器人的类人程度作为首要评估指标。尽管既往研究常依赖用户主观评价,我们的方法旨在基于可观测的用户行为间接评估机器人的类人程度,从而提升客观性与可复现性。首先,我们利用专注倾听对话语料库中的用户行为创建了带类人程度评分的标注数据集。随后我们分析多模态用户行为与类人程度评分间的相关性,论证了所提基于行为的评估方法的可行性。
引用
@article{arxiv.2308.11020,
title = {Towards Objective Evaluation of Socially-Situated Conversational Robots: Assessing Human-Likeness through Multimodal User Behaviors},
author = {Koji Inoue and Divesh Lala and Keiko Ochi and Tatsuya Kawahara and Gabriel Skantze},
journal= {arXiv preprint arXiv:2308.11020},
year = {2023}
}
备注
Accepted by 25th ACM International Conference on Multimodal Interaction (ICMI '23), Late-Breaking Results