ChladniSonify:新媒体艺术创作中克拉尼图形的视听映射方法
声音
2026-05-12 v1 人工智能
摘要
在新媒体艺术创作中,视觉与听觉之间的映射往往是主观的。作为声音可视化的经典载体,克拉尼图形 (Chladni patterns) 在构建视听映射机制方面具有巨大潜力。然而,现有工具面临诸多痛点:仿真技术门槛高,离线计算无法实现实时交互,且通用声化工具中的映射规则不可控。为了解决这些问题,本文提出了一种面向克拉尼图形的实时视听映射方法 ChladniSonify。基于基尔霍夫-洛夫 (Kirchhoff-Love) 板理论,我们通过数值编程构建了配对数据集,并使用 ANSYS 有限元仿真进行校准。聚焦于克拉尼图形细长的节线,我们采用带有 CBAM 的轻量级 CNN,实现了高精度、低延迟的图形分类。最后,我们在 Python 和 Max/MSP 中构建了端到端系统,将识别出的图形映射到相应的正弦波频率。结果表明该系统具有出色的可用性:分类模块在测试集上达到 99.33% 的准确率,推理延迟为 7.03 ms;映射频率与理论值零偏差匹配;平均端到端延迟低于 50 ms,满足实时交互需求。这项工作为克拉尼视听艺术创作提供了可复现的工程原型。
引用
@article{arxiv.2605.09846,
title = {ChladniSonify: A Visual-Acoustic Mapping Method for Chladni Patterns in New Media Art Creation},
author = {Yakun Liu and Hai Luan and Dong Liu and Zhiyu Jin},
journal= {arXiv preprint arXiv:2605.09846},
year = {2026}
}
备注
9 pages, 5 figures, IEEE conference format