使用 Hydra 提高 DF-Conformer 在离散编解码器标记上的高保真生成语音增强性能
声音
2025-11-05 v1
摘要
Dilated FAVOR Conformer (DF-Conformer) 是一种为语音增强(SE)设计的Conformer架构变体。它采用正交随机特征(FAVOR+)实现快速注意力，以缓解自注意力的二次复杂度，同时利用膨胀卷积扩大感受野。这种组合在各种SE模型上展现出令人印象深刻的性能。本文提出用双向选择性结构化状态空间序列模型取代FAVOR+，以实现两个主要目标：(1)通过消除FAVOR+固有的近似，增强全局序列建模，(2)保持相对于序列长度的线性复杂度。具体而言，我们利用Hydra——基于结构化矩阵混合器框架的Mamba双向扩展。实验在称为Genhancer的离散编解码器标记生成式SE模型上进行，结果表明所提方法优于DF-Conformer。
引用
@article{arxiv.2511.02454,
title = {Improving DF-Conformer Using Hydra For High-Fidelity Generative Speech Enhancement on Discrete Codec Token},
author = {Shogo Seki and Shaoxiang Dang and Li Li},
journal= {arXiv preprint arXiv:2511.02454},
year = {2025}
}
备注
Submitted to ICASSP 2026. Audio samples available at https://s-seki.github.io/dc_hydra/