THOR：通过关系干预实现文本到人-物交互的扩散模型
计算机视觉与模式识别
2024-03-19 v1
摘要
本文探讨了应对从文本描述生成动态人-物交互（Text2HOI）这一挑战性任务的新方法。虽然大多数现有工作假设交互仅限于有限的身体部位或静态物体，但我们的任务需要同时解决人体运动的变化、物体形状的多样性以及物体运动语义模糊的问题。为了解决这些问题，我们提出了一种具有关系干预的文本引导人-物交互扩散模型（THOR）。THOR 是一个配备了关系干预机制的内聚扩散模型。在每个扩散步骤中，我们初始化文本引导的人体和物体运动，然后利用人-物关系来干预物体运动。这种干预增强了人与物体之间的时空关系，同时以人为中心的交互表示为从文本合成一致运动提供了额外指导。为了获得更合理、更逼真的结果，在不同运动粒度级别引入了交互损失。此外，我们构建了 Text-BEHAVE，一个将文本描述与目前最大的公开可用 3D HOI 数据集无缝集成的 Text2HOI 数据集。定量和定性实验均证明了我们提出模型的有效性。
引用
@article{arxiv.2403.11208,
title = {THOR: Text to Human-Object Interaction Diffusion via Relation Intervention},
author = {Qianyang Wu and Ye Shi and Xiaoshui Huang and Jingyi Yu and Lan Xu and Jingya Wang},
journal= {arXiv preprint arXiv:2403.11208},
year = {2024}
}