基于集成式头显传感器与多模态深度融合网络的 VR 晕动症预测
人机交互
2021-08-17 v1
摘要
虚拟现实（VR）晕动症（俗称 cybersickness）是 VR 系统舒适使用的主要障碍之一。研究者已提出多种从生物生理数据（如心率、呼吸率、脑电图）预测晕动症的方法。然而，采集生物生理数据常需外部传感器，限制了 VR 体验中的移动与三维物体操控。利用头戴式显示器（HMD）集成传感器（如头部追踪、眼动追踪、运动特征）中现成数据来预测晕动症的研究十分有限，此类数据可支持自由移动与三维物体操控。本研究提出了一种新颖的深度融合网络，从 HMD 集成传感器 readily available 的异构数据预测晕动症严重程度。我们提取了 1755 段立体视频、眼动追踪与头部追踪数据，以及 30 名参与者在 VR 游戏过程中对应的自我报告晕动症严重程度。我们利用参与者的异构数据应用了若干深度融合方法。我们的结果表明，仅使用眼动追踪与头部追踪数据时，晕动症预测准确率达 87.77%、均方根误差为 0.51。我们得出结论：眼动追踪与头部追踪数据非常适用于独立的晕动症预测框架。
引用
@article{arxiv.2108.06437,
title = {VR Sickness Prediction from Integrated HMD's Sensors using Multimodal Deep Fusion Network},
author = {Rifatul Islam and Kevin Desai and John Quarles},
journal= {arXiv preprint arXiv:2108.06437},
year = {2021}
}
备注
Manuscript to be published at the 2021 IEEE International Symposium on Mixed and Augmented Reality (ISMAR)