我们可以用毫米波雷达听见！一个端到端的窃听系统
声音
2025-11-11 v1
摘要
随着语音技术的兴起，扬声器播放已广泛普及，对语音隐私构成日益增加的风险。传统窃听方法通常需要侵入性访问或视线距离，限制了其实际应用性。本文提出了 mmSpeech，一个基于毫米波的端到端窃听系统，通过扬声器播放引起的振动信号重建可理解的语音，甚至能穿透墙壁且无需说话者先验知识。为实现这一目标，我们揭示了使用窄带毫米波信号捕获高质量振动的最佳振动材料与雷达采样率组合。随后，我们设计了一个深度神经网络，从估计的噪声声谱中重建可理解的语音。进一步为支持下游语音理解，我们引入了合成训练管线，并针对预训练语音识别模型的编码器进行有针对性的微调。我们使用商业毫米波雷达实现了 mmSpeech，并通过大量实验验证其性能。结果表明，mmSpeech 在语音质量上实现了最前沿的水平，并在未见的说话者以及各种条件下表现出良好的泛化能力。
引用
@article{arxiv.2511.06205,
title = {We Can Hear You with mmWave Radar! An End-to-End Eavesdropping System},
author = {Dachao Han and Teng Huang and Han Ding and Cui Zhao and Fei Wang and Ge Wang and Wei Xi},
journal= {arXiv preprint arXiv:2511.06205},
year = {2025}
}