融合三维草图与语音模态的虚拟现实交互式模型检索

草图与语音是直观的交互方法，传达互补信息，并已独立用于虚拟环境中的三维模型检索。尽管草图已被证明是一种有效的检索方法，但并非所有集合都能仅借助该模态轻松浏览。我们设计了一个由三维椅子组成的新颖且具有挑战性的草图数据库，其中各部件（扶手、腿、座面、靠背）独立着色。为克服此问题，我们实现了一种在多模态接口，用于在虚拟环境中查询三维模型数据库。我们的草图基于最先进的三维草图检索方法，并采用 Wizard-of-Oz 风格实验处理语音输入。以此方式，我们避免了自然语言处理常需微调才能具备鲁棒性的复杂性。我们开展了两项用户研究，表明混合搜索策略由交互组合中涌现，发挥了两种模态各自的优势。