中文

虚拟环境中的声音交互:数字孪生的自我中心听觉视角

人机交互 2022-04-22 v1 人工智能 多媒体 声音 音频与语音处理

摘要

听者、物理世界与虚拟环境(VE)之间的关系不仅应启发自然多模态界面的设计,还应被发掘以理解 VR 技术的中介作用。本章旨在将关于虚拟环境中声音交互(SIVE)的零散研究转化为一个具备首个理论框架的研究领域,并对未来挑战持包容视野:听觉数字孪生的自我中心视角。在实现了沉浸式音频技术的 VE 中,VR 模拟的作用须由人类与非人类行动者(称为行动元)网络中的意义建构参与式探索来体现。此类行动场域的守护者是听觉数字孪生,它促进人与技术之间的内行动,动态且流畅地重新定义对沉浸且连贯体验至关重要的所有配置。纠缠理论的思想在此主要体现为一种与听者感知能力新兴知识相关的自我中心—空间视角。这是一种与数字孪生潜力主动变革的关系,可在 VE 中创造运动、透明与引发思考的活动。本章包含一种原创理论视角,并辅以若干文献参考及与对本文提案有重要贡献的其他书籍章节的链接。

关键词

引用

@article{arxiv.2204.09919,
  title  = {Sonic Interactions in Virtual Environments: the Egocentric Audio Perspective of the Digital Twin},
  author = {Michele Geronazzo and Stefania Serafin},
  journal= {arXiv preprint arXiv:2204.09919},
  year   = {2022}
}

备注

46 pages, 5 figures. Pre-print version of the introduction to the book "Sonic Interactions in Virtual Environments" in press for Springer's Human-Computer Interaction Series, Open Access license. The pre-print editors' copy of the book can be found at https://vbn.aau.dk/en/publications/sonic-interactions-in-virtual-environments - full book info: https://sive.create.aau.dk/index.php/sivebook/