TMR：基于对比式三维人体运动合成的文本到运动检索
计算机视觉与模式识别
2023-08-28 v2 计算与语言
摘要
本文提出 TMR，一种简单而高效的文本到三维人体运动检索方法。先前工作仅将检索视为代理评估指标，而我们将其作为独立任务来处理。我们的方法扩展了最先进的文本到运动合成模型 TEMOS，并引入对比损失以更好地构建跨模态潜在空间。我们表明，保持运动生成损失与对比训练相结合，对于获得良好性能至关重要。我们引入了评估基准，并通过报告多种协议下的结果提供深入分析。我们在 KIT-ML 和 HumanML3D 数据集上的大量实验表明，TMR 大幅优于先前工作，例如将中位排名从 54 降至 19。最后，我们展示了我们的方法在时刻检索上的潜力。我们的代码和模型公开于 https://mathis.petrovich.fr/tmr。
引用
@article{arxiv.2305.00976,
title = {TMR: Text-to-Motion Retrieval Using Contrastive 3D Human Motion Synthesis},
author = {Mathis Petrovich and Michael J. Black and Gül Varol},
journal= {arXiv preprint arXiv:2305.00976},
year = {2023}
}
备注
ICCV 2023 Camera Ready, project page: https://mathis.petrovich.fr/tmr/