虚拟现实中视听角度与语音不一致对视听言语短时记忆无影响
音频与语音处理
2025-08-29 v1 声音
摘要
虚拟现实（VR）环境常被用于听觉和认知研究，以模仿现实场景，假定其相较于传统计算机屏幕能提升最先进方法。然而，不同显示技术对视听处理的影响仍未被充分探索。本研究考察了使用头戴式显示器（HMD）的VR与传统计算机显示器相比，如何影响序列回忆任务中的表现，重点关注其对认知任务中视听处理的影响。为此，我们在两种显示设备（HMD和计算机显示器）上进行了两项实验，并设置了两种视听不一致类型：角度不一致（实验1）和语音不一致（实验2）。为量化认知表现，开发了一种视听言语序列回忆（avVSR）任务，其中具身对话代理（ECA）被动画化以说出目标数字序列。尽管主观评估显示HMD条件下存在感更高，但我们未发现显示设备对正确回忆数字比例的影响。对于计算机显示器呈现中的极端角度不一致条件，正确回忆数字的比例略有增加，推测是由于注意力提升所致，但该效应可能太小而无实际意义。在两个实验中，两种显示设备下的响应时间均未受不一致的影响。这些结果表明，avVSR任务对角度和语音视听不一致具有鲁棒性，无论显示设备如何，至少在本文所研究条件下如此。因此，本研究在VR中引入了avVSR任务，并为理解视听整合做出了贡献。
引用
@article{arxiv.2410.23015,
title = {Audiovisual angle and voice incongruence do not affect audiovisual verbal short-term memory in virtual reality},
author = {Cosima A. Ermert and Manuj Yadav and Jonathan Ehret and Chinthusa Mohanathasan and Andrea Bönsch and Torsten W. Kuhlen and Sabine J. Schlittmeier and Janina Fels},
journal= {arXiv preprint arXiv:2410.23015},
year = {2025}
}
备注
Submitted to PlosOne, 19 pages, 6 figures