TimberAgent: 基于 Gram 矩阵的可编辑音效效果控制
声音
2026-03-11 v1 人工智能
摘要
数字音频工作站暴露丰富的 effect 链，但感知用户意图与低级信号处理参数之间仍存在语义鸿沟。我们研究了以检索为基础的音效控制，其中输出为可编辑的 plugin 配置而非最终波形。我们的关注点是 Texture Resonance Retrieval (TRR)，这是一种由投影 mid-level Wav2Vec2 激活的 Gram 矩阵构建的音频表示。该设计保留 texture-relevant co-activation 结构。我们在包含 1,063 个候选 preset 和 204 个查询的吉他效果基准测试上评估了 TRR。评估遵循 Protocol-A，即交叉验证方案，可防止 train-test 漏洞。我们将 TRR 与 CLAP 和内部检索基线 (Wav2Vec-RAG、Text-RAG、FeatureNN-RAG) 进行比较，使用基于物理 DSP 参数范围的 min-max 归一化指标。消融研究验证了 TRR 核心设计选择：投影维度、层选择和投影类型。近重复敏感性分析确认结果对平凡知识库匹配具有鲁棒性。TRR 在所评估方法中实现了最低的归一化参数误差。26 名受试者的多刺激听觉研究提供了补充的感知证据。我们将这些结果解释为纹理感知检索对可编辑音效控制有用的基准证据，而更广泛的个性化和 real-audio robust 性主张超出了此处所呈现的已验证证据。
引用
@article{arxiv.2603.09332,
title = {TimberAgent: Gram-Guided Retrieval for Executable Music Effect Control},
author = {Shihao He and Yihan Xia and Fang Liu and Taotao Wang and Shengli Zhang},
journal= {arXiv preprint arXiv:2603.09332},
year = {2026}
}