触摸按键的盲识别：攻击与对策
密码学与安全
2014-03-20 v1
摘要
在本文中，我们介绍了一种基于计算机视觉的新型攻击方法，该方法能够在攻击者无法从受害者点击触摸屏的视频中看到任何文本或弹窗的情况下，泄露触摸设备上的输入信息。在该攻击中，我们使用光流算法来识别手指接触屏幕表面的触摸帧。我们创新性地利用检测到的触摸屏边缘的交点来推导单应性矩阵，将视频帧中的触摸屏表面映射到虚拟键盘的参考图像上。我们分析了指尖周围的阴影形成，并使用 k-means 聚类算法来识别触摸点。随后，单应性矩阵可将这些触摸点映射到虚拟键盘的按键上。我们的工作与现有工作有显著不同。我们针对密码输入，并能够实现高成功率。我们针对教室、会议及类似聚集场所等场景，使用网络摄像头或智能手机摄像头进行攻击。在这些场景中，相关工作中使用的单反（SLR）相机和高端摄像机显得可疑。为了抵御此类基于计算机视觉的攻击，我们设计、实现并评估了隐私增强键盘（PEK），该键盘使用随机化的虚拟键盘来输入敏感信息。
引用
@article{arxiv.1403.4829,
title = {Blind Recognition of Touched Keys: Attack and Countermeasures},
author = {Qinggang Yue and Zhen Ling and Benyuan Liu and Xinwen Fu and Wei Zhao},
journal= {arXiv preprint arXiv:1403.4829},
year = {2014}
}