面向双人面对面场景的交互动力学概率模型
计算机视觉与模式识别
2022-07-12 v1
摘要
人类之间的自然对话往往涉及大量非语言的细微表情，这些表情在对话的关键时刻展现。理解并能够建模这些复杂的交互，对于在虚拟或物理世界中创建逼真的人机通信至关重要。随着社交机器人和智能虚拟形象在流行度和实用性上的兴起，能够逼真地建模并生成对话过程中的这些动态表情至关重要。我们开发了一个概率模型来捕捉面对面场景中成对参与者之间的交互动力学，从而能够对对话者之间的同步表情进行编码。随后，在预测一个智能体的未来动力学时，以另一个智能体的当前动力学为条件，利用该交互编码来影响生成过程。我们从包含受试者自然对话的视频中提取 FLAME 特征来训练我们的交互模型。我们通过定量指标和定性指标成功评估了所提模型的有效性，并表明其成功捕捉了成对交互双方的动力学。我们还使用了一个前所未见的亲子数据集对该模型进行测试，该数据集包含双人之间的两种不同沟通模式，结果表明我们的模型能基于其交互动力学成功区分这两种模式。
引用
@article{arxiv.2207.04566,
title = {A Probabilistic Model Of Interaction Dynamics for Dyadic Face-to-Face Settings},
author = {Renke Wang and Ifeoma Nwogu},
journal= {arXiv preprint arXiv:2207.04566},
year = {2022}
}