向前一步点击：使用RNN与计算机视觉实时预测键鼠操作
人机交互
2023-09-22 v1
摘要
计算机输入远比一系列单一的鼠标点击和键盘按键复杂。我们提出了一种识别并表示用户交互的新方法，并构建了一个系统，可实时预测用户最有可能采取的下一步操作。为此，循环神经网络（RNN）在个人计算机使用数据上进行训练。我们证明，仅需在一周左右的用户活动数据上训练RNN，即可在从近500种可能操作中预测下一步动作时达到34.63%的准确率。文中讨论了如何利用这些预测构建工具以改善和加速计算机用户工作流的具体示例。
引用
@article{arxiv.2309.12170,
title = {A Click Ahead: Real-Time Forecasting of Keyboard and Mouse Actions using RNNs and Computer Vision},
author = {Fabio Matti and Pierre Dillenbourg and Ludovico Novelli},
journal= {arXiv preprint arXiv:2309.12170},
year = {2023}
}
备注
4 pages, 7 figures