Digital Life 项目：具备社交智能的自主三维角色

Zhongang Cai; Jianping Jiang; Zhongfei Qing; Xinying Guo; Mingyuan Zhang; Zhengyu Lin; Haiyi Mei; Chen Wei; Ruisi Wang; Wanqi Yin; Xiangyu Fan; Han Du; Liang Pan; Peng Gao; Zhitao Yang; Yang Gao; Jiaqi Li; Tianxiang Ren; Yukun Wei; Xiaogang Wang; Chen Change Loy; Lei Yang; Ziwei Liu

Digital Life 项目：具备社交智能的自主三维角色

计算机视觉与模式识别 2023-12-13 v1 人工智能图形学人机交互

作者: Zhongang Cai , Jianping Jiang , Zhongfei Qing , Xinying Guo , Mingyuan Zhang , Zhengyu Lin , Haiyi Mei , Chen Wei , Ruisi Wang , Wanqi Yin , Xiangyu Fan , Han Du , Liang Pan , Peng Gao , Zhitao Yang , Yang Gao , Jiaqi Li , Tianxiang Ren , Yukun Wei , Xiaogang Wang , Chen Change Loy , Lei Yang , Ziwei Liu

在 arXiv 上查看 ↗ PDF ↗

摘要

在这项工作中，我们提出了 Digital Life 项目，一个利用语言作为通用媒介来构建自主三维角色的框架。这些角色能够参与社交互动，并通过清晰的肢体动作进行表达，从而在数字环境中模拟生命。我们的框架包含两个主要组件：1) SocioMind：一个精心打造的数字大脑，通过系统化的少样本范例对个性进行建模，融入基于心理学原理的反思过程，并通过发起对话话题来模拟自主性；2) MoMat-MoGen：一个文本驱动的运动合成范式，用于控制角色的数字身体。它结合了运动匹配（一种经过验证的行业技术，以确保运动质量）与运动生成领域的前沿进展（以实现多样性）。大量实验表明，每个模块在其各自领域都达到了最先进的性能。它们共同使虚拟角色能够自主发起和维持对话，同时演化其社会心理状态。同时，这些角色能够执行与情境相关的身体动作。此外，一个运动描述模块进一步允许虚拟角色识别并适当回应人类玩家的动作。主页：https://digital-life-project.com/

关键词

自主三维角色社交智能 SocioMind 运动合成 MoMat-MoGen 语言驱动交互数字生命

引用

@article{arxiv.2312.04547,
  title  = {Digital Life Project: Autonomous 3D Characters with Social Intelligence},
  author = {Zhongang Cai and Jianping Jiang and Zhongfei Qing and Xinying Guo and Mingyuan Zhang and Zhengyu Lin and Haiyi Mei and Chen Wei and Ruisi Wang and Wanqi Yin and Xiangyu Fan and Han Du and Liang Pan and Peng Gao and Zhitao Yang and Yang Gao and Jiaqi Li and Tianxiang Ren and Yukun Wei and Xiaogang Wang and Chen Change Loy and Lei Yang and Ziwei Liu},
  journal= {arXiv preprint arXiv:2312.04547},
  year   = {2023}
}

备注

Homepage: https://digital-life-project.com/

Digital Life 项目：具备社交智能的自主三维角色

摘要

关键词

引用

备注

相关论文