在沉浸式可穿戴设备上部署基于卷积神经网络的计算机视觉模型的方法
计算机视觉与模式识别
2024-07-02 v1 人机交互
机器学习
摘要
卷积神经网络 (CNN) 模型往往缺乏对人类输入的能力，这可以通过增强现实 (AR) 头盔来解决。然而，当前的 AR 头盔在处理能力上存在局限，这阻碍了研究人员在 AR 头盔上使用 CNN 实现实时复杂图像识别。本文提出了一种在 AR 头盔上部署 CNN 模型的方法，通过在计算机上训练模型并将优化后的权重矩阵传输到头盔。该方法将图像数据和 CNN 层转换为适用于 AR 平台的一种一维格式。我们通过在 MNIST 数据集上使用 PyTorch 训练 LeNet-5 CNN 模型，并将其部署到 HoloLens AR 头盔上进行演示。结果表明，该模型在准确率上约为 98%，与在计算机上的性能相当。这一 CNN 与 AR 的集成使 AR 头盔能够进行实时图像处理，使得人类输入能够融入 AI 模型。
引用
@article{arxiv.2407.00233,
title = {Methodology to Deploy CNN-Based Computer Vision Models on Immersive Wearable Devices},
author = {Kaveh Malek and Fernando Moreu},
journal= {arXiv preprint arXiv:2407.00233},
year = {2024}
}
备注
10 pages 8 figures 4300 words