由语音驱动的仿生机器人面部表情
机器人学
2024-08-08 v3 计算机视觉与模式识别
摘要
仿生机器人有望通过逼真的面部表情实现自然的人机交互。然而,由于面部生物力学的复杂性以及对响应式运动合成的需求,生成逼真、与语音同步的机器人表情面临着重大挑战。本文提出了一种以蒙皮为中心的新方法,从语音输入驱动仿生机器人面部表情。其核心是,所提出的方法采用线性混合蒙皮 (LBS) 作为统一表示,指导具身设计和运动合成两方面的创新。LBS 为驱动拓扑提供信息,促进人类表情重定向,并实现高效的语音驱动面部运动生成。该方法展示了在单个 Nvidia RTX 4090 上以超过 4000 fps 的速度实时生成仿生面部高度逼真表情的能力,显著提升了机器人复制细腻人类表情以实现自然交互的能力。为了促进该领域的进一步研究与开发,代码已公开发布于:\url{https://github.com/library87/OpenRoboExp}。
引用
@article{arxiv.2403.12670,
title = {Driving Animatronic Robot Facial Expression From Speech},
author = {Boren Li and Hang Li and Hangxin Liu},
journal= {arXiv preprint arXiv:2403.12670},
year = {2024}
}
备注
8 pages, 6 figures, accepted to IROS 2024. For associated project page, see https://library87.github.io/animatronic-face-iros24