利用LLM辅助的声学旁道攻击：对噪声键盘的可行性提升
摘要
设备对麦克风的大规模集成增加了声学旁道攻击（ASCA）的机会，这些攻击可用于捕获按键的音频信号以获取敏感信息。然而，当前最先进（SOTA）的ASCA模型，包括卷积神经网络（CNN）和混合模型如CoAtNet，在现实噪声条件下仍表现有限。解决这一问题需要或通过增加模型的容量从更长的序列中推断上下文信息，使模型能够学习初始噪声输入的单词与后续收集的无噪声单词相同；或通过纠正误识别信息的另一种方法，因为人们不会输入随机单词，而是最符合对话语境的单词。本文证明了这两种策略都是可行且互补的解决方案，用于使ASCA实际可行。我们观察到现有解决方案未利用高级Transformer架构的能力，提出：（i）视觉Transformer（VT）是捕捉长期上下文信息的候选方案；（ii）基于Transformer的大型语言模型（LLM）是纠正模型可能产生的“拼写错误”（错误预测）的候选方案。因此，我们在此提出首个将VT和LLM集成用于ASCA的方法。我们首先展示了VT在与之前CNN基准测试相比时对按键分类达到SOTA性能。其次，我们证明了LLM能够减轻现实噪声的影响。评估自然句子结果表明：（i）将LLM（如GPT-4o）整合到ASCA管道中可提升纠错任务的性能；（ii）通过微调的轻量级小型LLM（比GPT-4o小67倍）即可实现相当的性能。
引用
@article{arxiv.2504.11622,
title = {Making Acoustic Side-Channel Attacks on Noisy Keyboards Viable with LLM-Assisted Spectrograms' "Typo" Correction},
author = {Seyyed Ali Ayati and Jin Hyun Park and Yichen Cai and Marcus Botacin},
journal= {arXiv preprint arXiv:2504.11622},
year = {2025}
}
备注
Length: 13 pages Figures: 5 figures Tables: 7 tables Keywords: Acoustic side-channel attacks, machine learning, Visual Transformers, Large Language Models (LLMs), security Conference: Accepted at the 19th USENIX WOOT Conference on Offensive Technologies (WOOT '25). Licensing: This paper is submitted under the CC BY Creative Commons Attribution license. arXiv admin note: text overlap with arXiv:2502.09782