使用 Transformer 和大语言模型提高键盘声学侧信道攻击的效果
机器学习
2025-02-20 v3 人工智能
计算与语言
音频与语音处理
摘要
麦克风在日常设备中的日益普及以及对在线服务的日益依赖，放大了针对键盘的声学侧信道攻击 (ASCA) 的风险。本研究探索了深度学习技术，特别是视觉转换器 (VT) 和大语言模型 (LLM)，以增强此类攻击的有效性和适用性。我们展示了在先前研究基础上的显著改进，CoAtNet 模型实现了最佳性能。我们的 CoAtNet 在通过智能手机记录的按键上提高了 5.0%，在通过 Zoom 记录的按键上提高了 5.9%。我们还评估了转换器架构和语言模型，最佳 Vt 模型与 CoAtNet 的性能相当。一种关键突破是引入一种用于现实场景的噪声缓解方法。通过使用 LLM 进行上下文理解，我们检测并纠正了噪声环境中错误的按键，从而增强了 ASCA 的效果。此外，经过微调的轻量级语言模型配合低秩适应 (LoRA) 可实现与重量级模型相当的性能，后者参数数目高出 67 倍。这种 Vt 和 LLM 的集成提高了 ASCA 在现实场景中的实际适用性，标志着首次使用这些技术来解决 ASCA 问题以及现实场景中的错误更正。
引用
@article{arxiv.2502.09782,
title = {Improving Acoustic Side-Channel Attacks on Keyboards Using Transformers and Large Language Models},
author = {Jin Hyun Park and Seyyed Ali Ayati and Yichen Cai},
journal= {arXiv preprint arXiv:2502.09782},
year = {2025}
}
备注
We would like to withdraw our paper due to a significant error in the experimental methodology, which impacts the validity of our results. The error specifically affects the analysis presented in Section 4, where an incorrect dataset preprocessing step led to misleading conclusions