ScreenTK：基于连续移动屏幕文本和本地大语言模型的高效时间消耗时刻检测
人机交互
2024-08-27 v3
摘要
智能手机已成为人们数字生活中必不可少的工具，提供持续的信息流和连接性。然而，这种持续的流动可能导致用户仅仅消耗时间而缺乏有意义的参与。这凸显了开发识别这些“时间消耗”时刻的重要性，以一种最小化干扰并提升用户参与度的方式递送重要通知。最近的研究利用每 5 秒获取一次的屏幕截图来检测智能手机上的时间消耗活动。然而，这种方法常常无法捕捉到间隔之间的电话使用情况。我们展示了使用屏幕截图检测不到约 50% 的时间消耗实例，导致对用户行为理解存在重大缺口。为此，我们提出了一种名为 ScreenTK 的方法，通过利用持续的屏幕文本监控和本地大语言模型（LLM）来检测时间消耗时刻。屏幕文本比屏幕截图包含更全面的信息，允许 LLM 对详细的手机使用情况进行总结。为验证我们的框架，我们与六名参与者进行了实验，捕获了 1,034 条不同时间消耗时刻的记录。初始结果表明，我们的框架在案例研究中比最先进的解决方案高出 38%。
引用
@article{arxiv.2407.03063,
title = {ScreenTK: Seamless Detection of Time-Killing Moments Using Continuous Mobile Screen Text and On-Device LLMs},
author = {Le Fang and Shiquan Zhang and Hong Jia and Jorge Goncalves and Vassilis Kostakos},
journal= {arXiv preprint arXiv:2407.03063},
year = {2024}
}