SonoHaptics：面向 XR 中基于注视的物体选择的音频-触觉光标
人机交互
2024-09-04 v1
摘要
我们提出了 SonoHaptics，一种用于基于注视的 3D 物体选择的音频-触觉光标。SonoHaptics 解决了在扩展现实 (XR) 中进行基于注视的选择时提供精确视觉反馈所面临的挑战，例如，在无显示屏或显示屏有限的智能眼镜中缺乏世界锁定的显示以及视觉不一致性。为了使用户能够在没有视觉反馈的情况下区分物体，SonoHaptics 运用了人类感知中的跨模态对应概念，将物体的视觉特征（颜色、大小、位置、材质）映射到音频-触觉属性（音高、振幅、方向、音色）。我们贡献了用于确定视觉特征到音频和触觉特征的跨模态映射的数据驱动模型，以及一种自动为用户环境中的物体生成音频-触觉反馈的计算方法。SonoHaptics 提供场景中每个物体独有的全局反馈，以及放大邻近物体之间差异的局部反馈。我们的对比评估表明，SonoHaptics 能够在杂乱场景中，在没有视觉反馈的情况下实现准确的物体识别和选择。
引用
@article{arxiv.2409.00784,
title = {SonoHaptics: An Audio-Haptic Cursor for Gaze-Based Object Selection in XR},
author = {Hyunsung Cho and Naveen Sendhilnathan and Michael Nebeling and Tianyi Wang and Purnima Padmanabhan and Jonathan Browder and David Lindlbauer and Tanya R. Jonker and Kashyap Todi},
journal= {arXiv preprint arXiv:2409.00784},
year = {2024}
}
备注
UIST 2024