AIBA：面向文本到音频扩散的注意力-频段对齐
声音
2025-09-26 v1
摘要
我们提出了 AIBA（Attention-In-Band Alignment），一个轻量级、无需训练的管道，用于量化文本到音频扩散模型在时频 (T-F) 平面上注意力分布。AIBA (i) 在推理时挂载交叉注意力以记录注意力概率，而无需修改权重；(ii) 将其投影到固定大小的 mel 网格，以与音频能量直接可比；(iii) 通过可解释指标（T-F IoU/AP、频率轮廓相关性和指向游戏）对仪器-频段真实值进行评分。在 Slakh2100 数据集上使用 AudioLDM2 主干网络进行测试，AIBA 揭示了一致的仪器相关趋势（例如，低音偏好低频段），并实现了较高的精确度和适度的召回率。
引用
@article{arxiv.2509.20891,
title = {AIBA: Attention-based Instrument Band Alignment for Text-to-Audio Diffusion},
author = {Junyoung Koh and Soo Yong Kim and Gyu Hyeong Choi and Yongwon Choi},
journal= {arXiv preprint arXiv:2509.20891},
year = {2025}
}
备注
NeurIPS 2025 AI for Music Workshop