中文

PoseFix:利用自然语言校正三维人体姿态

计算机视觉与模式识别 2024-01-18 v2

摘要

自动生成用于调整人体姿态的指令可为个性化指导和家庭物理治疗等无数应用打开大门。解决其逆问题(即基于某些自然语言反馈来精修三维姿态)可有助于辅助三维角色动画或机器人教学等。尽管近期少数工作探索了自然语言与三维人体姿态之间的联系,但均无专注于描述三维身体姿态差异。本文研究利用自然语言校正三维人体姿态的问题。为此,我们引入了 PoseFix 数据集,其包含数千对三维姿态及其对应的文本反馈,描述了源姿态需如何修改以获得目标姿态。我们在两项任务上展示了该数据集的潜力:(1)基于文本的姿势编辑,旨在给定查询姿态和文本修饰符的情况下生成校正后的三维身体姿态;(2)校正性文本生成,基于两个身体姿态之间的差异生成指令。

关键词

引用

@article{arxiv.2309.08480,
  title  = {PoseFix: Correcting 3D Human Poses with Natural Language},
  author = {Ginger Delmas and Philippe Weinzaepfel and Francesc Moreno-Noguer and Grégory Rogez},
  journal= {arXiv preprint arXiv:2309.08480},
  year   = {2024}
}

备注

Published in ICCV 2023