SonifyAR：增强现实中的情境感知声音生成
人机交互
2024-08-13 v3
摘要
声音在增强现实（AR）中发挥着关键作用，能够提升用户体验和沉浸感。然而，当前平台缺乏对AR声音创作的支持，主要原因包括交互类型有限、收集和指定情境信息方面存在挑战，以及难以获取匹配的声音资源。我们提出了SonifyAR，一个基于大语言模型（LLM）的AR声音创作系统，能够为AR体验生成情境感知的声音效果。SonifyAR扩展了当前AR声音设计空间，实现了一种通过演示（Programming by Demonstration, PbD）的管线，自动收集AR事件的情境信息，包括虚拟内容语义和现实世界情境。这种情境信息随后被处理以获取声音效果，采用推荐、检索、生成和迁移方法。为评估系统的可用性和性能，我们进行了由八名参与者组成的用户研究，并创建了五个示例应用，包括基于AR的科学实验、改进AR头盔安全的案例，以及帮助低视力AR用户的示例。
引用
@article{arxiv.2405.07089,
title = {SonifyAR: Context-Aware Sound Generation in Augmented Reality},
author = {Xia Su and Jon E. Froehlich and Eunyee Koh and Chang Xiao},
journal= {arXiv preprint arXiv:2405.07089},
year = {2024}
}
备注
To appear in UIST2024