InterAct：捕获和建模两个人在日常情景中的真实、表达且互动的活动
计算机视觉与模式识别
2024-05-28 v2
摘要
我们解决两个人在日常情景中发生的准确捕获和表达建模的问题。不同于以往只考虑单个主体或聚焦于对话手势的工作，本文提出同时建模两个人的活动，目标是实现以目标为导向、动态且连贯的互动，这些互动常常持续较长时间。为此，我们捕获了一个新数据集，命名为InterAct，包含241个运动序列，其中两个人在整个序列中执行真实情景。数据集中捕获了两个人的音频、身体动作和面部表情。我们还展示了首个基于扩散模型的方法，仅从两个人的音频直接估计它们之间的互动运动。所有数据和代码将在 https://hku-cg.github.io/interact 提供。
引用
@article{arxiv.2405.11690,
title = {InterAct: Capture and Modelling of Realistic, Expressive and Interactive Activities between Two Persons in Daily Scenarios},
author = {Yinghao Huang and Leo Ho and Dafei Qin and Mingyi Shi and Taku Komura},
journal= {arXiv preprint arXiv:2405.11690},
year = {2024}
}
备注
The first two authors contributed equally to this work