MMW：智能眼镜上用于侧方谈话抑制的多麦克风Whisper模型
音频与语音处理
2025-07-09 v1
摘要
智能眼镜正日益被定位为普及访问大语言模型(LLM)的下一代界面。然而，在现实世界的嘈杂环境中实现可靠交互仍然是一个主要挑战，特别是由于侧方语音的干扰。在这项工作中，我们为智能眼镜引入了一种新颖的侧方谈话抑制多麦克风Whisper(MMW)框架，其中包含三项关键创新。首先，我们提出了一种基于Tri-Mamba架构的混合块，以在原始波形级别有效融合多通道音频，同时保持与流式处理的兼容性。其次，我们设计了一个帧级说话人日志Mamba层，以增强帧级侧方谈话抑制，从而促进Whisper模型更高效的微调。第三，我们采用多尺度组相对策略优化(GRPO)策略来联合优化帧级和话语级的侧方语音抑制。实验评估表明，所提出的MMW系统在嘈杂条件下可以将词错误率(WER)降低4.95%。
引用
@article{arxiv.2507.05609,
title = {MMW: Side Talk Rejection Multi-Microphone Whisper on Smart Glasses},
author = {Yang Liu and Li Wan and Yiteng Huang and Yong Xu and yangyang shi and Saurabh Adya and ming sun and Florian Metze},
journal= {arXiv preprint arXiv:2507.05609},
year = {2025}
}