利用智能手机截图的MLLM技术
人机交互
2024-09-17 v1
摘要
日志记录具有显著益处，包括促进自我反思、提升写作技能以及辅助情绪监测。然而，许多人放弃日志记录，因为传统日志记录耗时，且若未及时记录，详细的生活事件可能被忽略。鉴于智能手机是用于娱乐、工作和社交的最广泛使用的设备，它们为日志记录的创新方法提供了理想平台。尽管智能手机无处不在，但利用数字表型分析（一种从数字设备中非侵入性收集数据以洞察心理和行为模式的方法）来自动生成日志的潜力在很大程度上尚未被探索。在本研究中，我们提出了AutoJournaling，这是首个通过收集和分析智能手机截屏自动生成日志的系统。该系统捕捉生活事件及相应情绪，为数字表型分析提供了一种新颖方法。我们通过每3秒从三名学生处收集截屏，持续五天，评估了AutoJournaling，证明了其可行性和准确性。AutoJournaling是首个利用无缝收集的截屏生成日志的框架，通过数字表型分析为心理状态提供了新的见解。
关键词
引用
@article{arxiv.2409.09696,
title = {AutoJournaling: A Context-Aware Journaling System Leveraging MLLMs on Smartphone Screenshots},
author = {Tianyi Zhang and Shiquan Zhang and Le Fang and Hong Jia and Vassilis Kostakos and Simon D'Alfonso},
journal= {arXiv preprint arXiv:2409.09696},
year = {2024}
}