交互式对话头部生成
计算机视觉与模式识别
2023-07-06 v1
摘要
我们引入了一个新的对话头部生成基准，用于合成面对面交谈中单一对话者的行为。自动合成能够参与长时间多轮对话的对话者的能力至关重要，并为包括数字人、虚拟代理和社交机器人在内的各种应用带来益处。现有研究主要聚焦于说话头部生成（单向交互），由于缺少倾听与交互部分，阻碍了创建用于对话（双向）交互的数字人。在本工作中，我们构建了两个数据集以解决此问题：用于句子级独立说话与倾听头部生成任务的 ``ViCo''，以及用于在多轮对话场景中合成对话者的 ``ViCo-X''。基于 ViCo 和 ViCo-X，我们定义了三个面向面对面交谈中交互建模的新任务：1) 响应性倾听头部生成，使倾听者以非语言信号主动回应说话者；2) 表现性说话头部生成，引导说话者察觉倾听者的行为；3) 对话头部生成，将说话/倾听能力集成于单一对话者。随数据集一同，我们还提出了针对上述三个任务的相应基线方案。实验结果表明，我们的基线方法能生成可响应且生动的代理，可与真实人物协作完成整个对话。项目页面：https://vico.solutions/。
引用
@article{arxiv.2307.02090,
title = {Interactive Conversational Head Generation},
author = {Mohan Zhou and Yalong Bai and Wei Zhang and Ting Yao and Tiejun Zhao},
journal= {arXiv preprint arXiv:2307.02090},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2112.13548