中文

Erie:用于数据可听化的声明式语法

人机交互 2024-09-26 v2 声音

摘要

数据可听化——即将数据变量映射为音高或音量等听觉变量——可用于数据无障碍访问、科学探索以及数据驱动的艺术(如博物馆展览)等。尽管在有效且直观的可听化设计方面已有大量研究,但软件支持却未能与之匹配,限制了研究人员充分探索其能力。我们提出了Erie,一种用于数据可听化的声明式语法,能够抽象地表达听觉映射。Erie支持指定可扩展的音调设计(如周期波、采样、频率/幅度调制合成器)、多种编码通道、听觉图例以及序列和叠加等组合选项。利用标准的Web Audio和Web Speech API,我们提供了一个面向Web环境的Erie编译器。我们通过复现先前工作中提出的研究原型并提供一个可听化设计库,展示了Erie的表达能力和可行性。我们讨论了将Erie扩展至其他音频计算环境并支持交互式数据可听化的未来步骤。

关键词

引用

@article{arxiv.2402.00156,
  title  = {Erie: A Declarative Grammar for Data Sonification},
  author = {Hyeok Kim and Yea-Seul Kim and Jessica Hullman},
  journal= {arXiv preprint arXiv:2402.00156},
  year   = {2024}
}

备注

19 pages, 19 tables, 4 figures. Accepted at ACH CHI 2024