SonicGauss：用于3D高斯表示的空间感知物理声音合成
声音
2025-07-29 v1 多媒体
摘要
虽然3D高斯表示(3DGS)已证明对建模对象的几何和外观具有有效作用，但其捕捉其他物理属性(如声音)的潜力仍鲜有探索。本文提出一种新型框架，称为SonicGauss，通过利用其固有几何和材料属性从3DGS表示生成冲击声。具体而言，我们将基于扩散的声音合成模型与基于PointTransformer的特征提取器集成，以直接从高斯椭球体推断材料特征和空间声学相关性。我们的做法支持基于冲击位置的空间可变声音响应，并可推广到广泛的对象类别。在ObjectFolder数据集和真实世界录音上的实验表明，我们的方法产生了真实、位置感知的听觉反馈。结果凸显了该框架的鲁棒性和泛化能力，为将3D视觉表示与交互式声音合成连接提供了有前景的步骤。项目页面：https://chunshi.wang/SonicGauss
引用
@article{arxiv.2507.19835,
title = {SonicGauss: Position-Aware Physical Sound Synthesis for 3D Gaussian Representations},
author = {Chunshi Wang and Hongxing Li and Yawei Luo},
journal= {arXiv preprint arXiv:2507.19835},
year = {2025}
}
备注
Accepted by ACMMM'25