儿童不确定性多模态线索的学习
计算与语言
2024-10-21 v1 计算机视觉与模式识别
计算机与社会
人机交互
摘要
理解不确定性在实现 common ground (Clark 等, 1983) 中发挥关键作用。这尤其重要于那些与用户协作以解决问题或引导用户通过困难概念的多模态 AI 系统。本文首次提出了一个由发展心理学家和认知心理学家共同标注的数据集，用于研究非语言不确定性线索。我们 then present an analysis of the data, studying different roles of uncertainty and its relationship with task difficulty and performance. 最后，我们提出了一个多模态机器学习模型，可以基于用户实时视频剪辑预测不确定性，我们发现它优于基线多模态变换器模型。这项工作为人类-人类和人类- AI 之间的认知协调提供了信息，并对手势理解和生成具有广泛影响。一旦完成所需的知情同意表格和数据表， anonymised version of our data and code 将在公开时可用。
引用
@article{arxiv.2410.14050,
title = {Learning Multimodal Cues of Children's Uncertainty},
author = {Qi Cheng and Mert İnan and Rahma Mbarki and Grace Grmek and Theresa Choi and Yiming Sun and Kimele Persaud and Jenny Wang and Malihe Alikhani},
journal= {arXiv preprint arXiv:2410.14050},
year = {2024}
}
备注
SIGDIAL 2023