mmWave-Whisper：基于毫米波雷达的电话呼叫窃听与转录
声音
2024-10-24 v1 音频与语音处理
摘要
本文介绍了mmWave-Whisper系统，展示了其通过离线频率调制连续波(FMCW)毫米波雷达对手机电话进行远程窃听并进行全语料库自动语音识别(ASR)的可行性。系统工作在77-81 GHz频段，捕获智能手机的听筒振动，将其转换为音频，并处理音频以自动生成语音转录。与之前聚焦于大音箱或有限词汇量的工作不同，本工作首次实现了针对智能手机听筒振动的语音识别，能够处理大词汇量和完整句子。该方法扩展了雷达-音频窃听的潜在范围。mmWave-Whisper通过系统化的管线来解决数据规模不足、信噪比低以及雷达数据中频率信息有限等挑战，采用合成训练数据、域适应和集成OpenAI Whisper自动语音识别模型进行推理。系统在25 cm至125 cm的距离范围内实现了44.74%的词准确率和62.52%的字符准确率。该论文凸显了随着技术快速发展，AI新兴的滥用模式。
引用
@article{arxiv.2410.17457,
title = {mmWave-Whisper: Phone Call Eavesdropping and Transcription Using Millimeter-Wave Radar},
author = {Suryoday Basak and Abhijeeth Padarthi and Mahanth Gowda},
journal= {arXiv preprint arXiv:2410.17457},
year = {2024}
}
备注
5 pages, 4 figures, 1 table