符号到音频鼓点的快速紧凑 PCA-DAC 扩散
声音
2026-05-14 v1
摘要
符号控制鼓组生成需要在保持显式事件时间和动态的同时合成具备声学合理性的波形。我们提出了 Sec2Drum-DAC，一个用于符号到音频鼓组渲染的条件潜在扩散模型。该模型在物理时间上的 codec 框架位置抽样的事件特征上进行条件化，并预测冻结的 DAC 汇总代码书嵌入的标准化主成分坐标，而非波形样本。在评估的 DAC 配置中，72 个主成分在给定的 SVD 阈值下捕获了观测训练帧汇总潜在子空间，产生一个紧凑的连续去噪目标，具有确定性的重建路径至 1024 维 DAC 潜在空间，然后进行波形解码。在 1733 个保留的四小节窗口上，PCA 扩散在配对的谱和瞬态指标上优于确定性 PCA 回归和符号渲染基线，而直接回归在相位敏感的波形 L1 指标上更强。辅助的 RVQ 交叉熵提高了短步长扩散在 mel 误差、onset-flux 余弦和波形 L1 上的表现，在特定指标下达到最佳的权衡，在 6-25 个去噪步骤之间。
引用
@article{arxiv.2605.13404,
title = {Seconds-Aligned PCA-DAC Latent Diffusion for Symbolic-to-Audio Drum Rendering},
author = {Konstantinos Soiledis and Maximos Kaliakatsos Papakostas and Dimos Makris and Konstantinos Tsamis},
journal= {arXiv preprint arXiv:2605.13404},
year = {2026}
}