基于VR中部件级手-物体交互的VLM Authoring 工具 HOICraft
人机交互
2026-02-10 v1
摘要
手-物体交互（HOI）是虚拟现实（VR）中的关键交互组件。然而，设计HOI仍需要手动决定物体如何被选择和操作，同时考虑用户能力，这导致耗时的细化。我们提出HOICraft，一个基于视觉语言模型（VLM）的现场HOI Authoring工具，使其能够在VR中进行部件级交互设计。HOICraft通过推荐来自3D物体的可交互元素、定制HOI设计属性以及映射手部运动与虚拟物体行为来帮助设计师。我们与三个专职VR设计师进行了形式化研究，以识别五种代表性的HOI设计，以支持多样化的用户体验。基于20名参与者的偏好数据，我们开发了一个具有情境学习的HOI映射模块。在12名VR交互设计师的用户研究中，HOICraft显著减少了相对于手动Authoring的试错迭代次数。最后，我们评估了HOICraft的可用性，证明了其在VR中进行HOI设计的有效性。
关键词
引用
@article{arxiv.2602.08219,
title = {HOICraft: In-Situ VLM-based Authoring Tool for Part-Level Hand-Object Interaction Design in VR},
author = {Dohui Lee and Qi Sun and Sang Ho Yoon},
journal= {arXiv preprint arXiv:2602.08219},
year = {2026}
}
备注
25 pages, 15 figures, Presented at ACM CHI 2026