面向增强现实眼镜交互的消费者级视觉-脑机接口
计算机视觉与模式识别
2023-08-30 v1
摘要
目的。视觉-脑机接口（V-BMI）为增强现实（AR）产业提供了一种新颖的交互技术。若干前沿工作已证明其高精度与实时交互能力。然而，大多数研究采用的 EEG 设备笨重且难以应用于真实生活中的 AR 眼镜场景。在此我们开发了一套专用于增强现实（AR）眼镜交互的消费者级视觉-脑机接口（V-BMI）系统。方法。所开发的系统由可穿戴硬件组成，其具备快速设置、可靠记录和舒适佩戴体验的优势，并针对 AR 眼镜应用专门设计。作为硬件的补充，我们设计了一个软件框架，在系统内促进实时交互，同时容纳模块化配置以增强可扩展性。主要结果。所开发硬件仅重 110g、尺寸 120x85x23 mm，输入阻抗为 1 TΩ 且峰峰值电压小于 1.5 μV；我们设计了一款基于 V-BMI 的愤怒的小鸟游戏和一个物联网（IoT）AR 应用，展示了该技术在直观体验和高效交互上的优势。在商用 AR 眼镜中实时交互准确率为 85% 至 96%（DTI 为 2.24s，ITR 为 65 bits/min）。意义。我们的研究表明所开发系统可为基于消费者的 V-BMI AR 眼镜提供基础的软硬件框架。此外，我们推导出消费级基于 V-BMI 的 AR 系统的若干关键设计因素：1）通过计算机视觉算法对刺激模式-分类方法进行动态适配对于 AR 眼镜应用是必要的；2）算法本地化以促进系统稳定性并降低延迟。
引用
@article{arxiv.2308.15056,
title = {A Consumer-tier based Visual-Brain Machine Interface for Augmented Reality Glasses Interactions},
author = {Yuying Jiang and Fan Bai and Zicheng Zhang and Xiaochen Ye and Zheng Liu and Zhiping Shi and Jianwei Yao and Xiaojun Liu and Fangkun Zhu and Junling Li Qian Guo and Xiaoan Wang and Junwen Luo},
journal= {arXiv preprint arXiv:2308.15056},
year = {2023}
}
备注
15 pages,10 figures