DailyLLM: 使用多模态传感器和大语言模型的情境感知活动日志生成
人工智能
2025-07-21 v1 计算与语言
人机交互
多媒体
摘要
丰富且情境感知的活动日志有助于用户行为分析和健康监测，使其成为 ubiquitous computing 领域的关键研究焦点。大型语言模型（LLM）的精彩语义理解和生成能力最近为活动日志生成创造了新的机会。然而，现有方法在准确性、效率和语义丰富性方面仍存在显著局限。为此，我们提出 DailyLLM。据我们所知，这是第一个综合利用四个维度（位置、运动、环境、生理）情境活动信息的日志生成与总结系统，仅使用智能手机和智能手表上常见的传感器即可实现。为此，DailyLLM 引入一个轻量级 LLM-based 框架，将结构化提示与高效特征提取相结合，以实现高层次活动理解。大量实验表明，DailyLLM 在日志生成 BERTScore 精度方面优于最先进（SOTA）方法，同时可以在个人电脑和树莓派上高效部署。仅使用 1.5B 参数的 LLM 模型，DailyLLM 在日志生成 BERTScore 精确度上相较于 70B 参数的 SOTA 基线提升 17%，同时实现近 10 倍的推理速度。
引用
@article{arxiv.2507.13737,
title = {DailyLLM: Context-Aware Activity Log Generation Using Multi-Modal Sensors and LLMs},
author = {Ye Tian and Xiaoyuan Ren and Zihao Wang and Onat Gungor and Xiaofan Yu and Tajana Rosing},
journal= {arXiv preprint arXiv:2507.13737},
year = {2025}
}