利用智能手机构建音视频数字孪生
声音
2025-12-12 v1 多媒体
音频与语音处理
摘要
当今的数字孪生几乎完全是视觉化的，忽略了声学——空间真实感和交互的核心组成部分。我们提出 AV-Twin，这是首个仅使用普通智能手机即可构建可编辑音视频数字孪生的实用系统。AV-Twin 结合移动端 RIR 采集与视觉辅助声场模型，高效重建房间声学。它进一步通过可微分声学渲染恢复各表面的材料属性，使用户能够在自动更新音频和视觉的同时修改材料、几何体和布局。这些能力共同为现实世界环境中的完全可修改音视频数字孪生奠定了实用路径。
引用
@article{arxiv.2512.10778,
title = {Building Audio-Visual Digital Twins with Smartphones},
author = {Zitong Lan and Yiwei Tang and Yuhan Wang and Haowen Lai and Yiduo Hao and Mingmin Zhao},
journal= {arXiv preprint arXiv:2512.10778},
year = {2025}
}
备注
Under Mobisys 2026 review, single blind