基于智能手机传感器实现设备端LLM个性化
人机交互
2024-07-25 v2 人工智能
机器学习
摘要
本演示提出一种新型端到端框架，将设备端大型语言模型（LLM）与智能手机感知技术结合，实现情境感知和个性化服务。该框架通过结合设备端LLM与多模态传感器数据、情境感知和定制化提示工程，解决当前基于云端LLM的个性化解决方案存在的隐私、延迟和成本问题，以及个性化信息有限的局限性。我们以大学学生为案例，展示了该框架能够提供定制化推荐的能力。此外，我们展示了该框架在隐私、性能、延迟、成本、电池和能耗方面，在设备端和云端LLM之间实现了最佳的权衡。已知本文是首个提供设备端LLM个性化且结合智能手机感知的框架。未来工作将纳入更多样化的传感器数据并开展大规模用户研究以提升个性化。该框架有望在健康、生产力和娱乐等领域显著提升用户体验。
引用
@article{arxiv.2407.04418,
title = {Enabling On-Device LLMs Personalization with Smartphone Sensing},
author = {Shiquan Zhang and Ying Ma and Le Fang and Hong Jia and Simon D'Alfonso and Vassilis Kostakos},
journal= {arXiv preprint arXiv:2407.04418},
year = {2024}
}
备注
5 pages, 3 figures, conference demo paper