Hi-Reco：高保真实时对话数字人

高保真数字人正在交互式应用中日益受到关注，但实现视觉逼真与实时响应的平衡仍是重大挑战。我们提出一种高保真、实时对话数字人系统，无缝集成了视觉逼真的 3D 头像、基于人格的情感语音合成以及知识驱动的对话生成。为支持自然且及时的交互，我们引入异步执行管道，协调多模态组件以实现最小延迟。系统支持高级功能，包括唤醒词检测、情感表达的韵律，以及高度精确、情境感知的响应生成。它利用 novel 检索增强方法，包括历史增强以维持对话流畅性以及基于意图的路由以实现高效知识访问。总体而言，这些组件形成一个集成系统，使能够响应且可信的数字人适用于沉浸式通信、教育和娱乐应用。