AutoLife：基于智能手机和大语言模型的自动人生日记

本文介绍一种新颖的 mobile sensing application ——人生日记，用于生成用户日常生活的语义描述。我们提出 AutoLife，一个基于 commercial smartphones 的自动人生日记系统。AutoLife 仅输入 low-cost sensor data（不包括照片或音频），即可为用户自动生成 comprehensive life journals。为实现这一目标，我们首先从多模态传感器数据中推导时间、motion 和 location context，并利用大语言模型（LLMs）的 zero-shot capabilities，结合关于 human lives 的 commonsense knowledge，对 diverse contexts 进行解释并生成 life journals。为管理 task complexity 和长时序 sensing duration，提出了多层框架，该框架将 tasks 分解并 seamless 集成 LLMs 与其他技术用于人生日记。该研究建立了一个 real-life dataset 作为基准，大量实验结果表明 AutoLife 能产生 accurate and reliable life journals。