CLIP-Actor：用于驱动人体网格动画的文本驱动推荐与风格化
计算机视觉与模式识别
2022-07-22 v2 人工智能
图形学
摘要
我们提出 CLIP-Actor，一种用于人体网格动画的文本驱动动作推荐与神经网格风格化系统。CLIP-Actor 通过推荐一段动作序列并优化网格风格属性，使 3D 人体网格贴合文本提示而动画化。我们利用带有语言标签的大规模人体动作数据集构建了文本驱动的人体动作推荐系统。给定自然语言提示，CLIP-Actor 以由粗到细的方式建议一段贴合文本的人体动作。随后，我们新颖的零样本神经风格优化以时间一致且与姿态无关的方式，对推荐网格序列进行细节化与纹理化，以贴合提示。其独特之处在于，先前工作在艺术家设计的网格姿态从一开始就不贴合文本时无法生成合理结果。我们进一步提出时空视角增强与掩码加权嵌入注意力，通过利用多帧人体动作并剔除渲染不佳的视角来稳定优化过程。我们展示了 CLIP-Actor 仅从自然语言提示即可生成具有细致几何与纹理、合理且可被人类识别的风格化 3D 人体运动网格。
引用
@article{arxiv.2206.04382,
title = {CLIP-Actor: Text-Driven Recommendation and Stylization for Animating Human Meshes},
author = {Kim Youwang and Kim Ji-Yeon and Tae-Hyun Oh},
journal= {arXiv preprint arXiv:2206.04382},
year = {2022}
}
备注
Accepted at ECCV 2022. [Project page] https://clip-actor.github.io [Code] https://github.com/postech-ami/CLIP-Actor