基于生成式人工智能的触觉重用

混合现实旨在融合数字和物理世界，以创建沉浸式人机交互。尽管取得了显著进展，但缺乏真实的触觉反馈常常会因视觉和触觉感知之间的脱节而破坏沉浸式体验。本文介绍了基于生成式人工智能的触觉重用，这是一种创新方法，通过将任何物理对象转换为用于人工智能生成的虚拟资产的适应性触觉界面，来增强混合现实交互。利用最先进的生成式人工智能模型，该系统捕获物理对象的 2D 和 3D 特征，并通过用户引导的提示，生成保持原始对象物理形态的相应虚拟对象。通过基于模型的对象跟踪，该系统实时地将虚拟资产动态锚定到物理道具上，允许对象在视觉上变形为任何用户指定的虚拟对象。本文详细介绍了系统的开发，展示了验证其有效性的可用性研究结果，并探讨了其显著增强交互式混合现实环境的潜力。希望这项工作能为沉浸式和触觉技术中人工智能驱动的空间变换的进一步研究奠定基础。