HO-Flow：基于潜在流匹配的通用手-物体交互生成
计算机视觉与模式识别
2026-04-14 v1 机器人学
摘要
生成逼真的3D手-物体交互（HOI）是计算机视觉和机器人学中的基础挑战，要求具备时序一致性和高保真度物理可行性。现有方法在学习表达性运动表征和进行时序推理方面仍受限。本文提出HO-Flow框架，用于从文本和标准化3D物体生成逼真的手-物体运动序列。HO-Flow首先采用交互感知变分自编码器，将手和物体运动序列编码到统一的潜在流形中，通过融合手和物体的运动学，实现对丰富交互动力学的表征。随后，利用掩码流匹配模型结合自回归时序推理与连续潜在生成，提高时序一致性。为进一步提升泛化能力，HO-Flow预测物体相对于初始帧的运动，使其能够在大规模合成数据上进行有效预训练。在GRAB、OakInk和DexYCB基准测试上进行的实验表明，HO-Flow在交互运动合成的物理可行性和运动多样性方面实现了最佳性能。
引用
@article{arxiv.2604.10836,
title = {HO-Flow: Generalizable Hand-Object Interaction Generation with Latent Flow Matching},
author = {Zerui Chen and Rolandos Alexandros Potamias and Shizhe Chen and Jiankang Deng and Cordelia Schmid and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2604.10836},
year = {2026}
}
备注
Project Page: https://zerchen.github.io/projects/hoflow.html