PLMM：移动设备上的个人大语言模型
计算机视觉与模式识别
2024-05-07 v2 人工智能
计算工程、金融与科学
计算与语言
机器学习
摘要
受联邦学习启发，本文提出个人大模型，其由传统大语言模型蒸馏而来，但更适配本地用户的个人信息（如教育背景与爱好）。我们将大语言模型划分为三个层级：个人级、专家级与传统级。个人级模型适配用户个人信息，对用户输人进行加密并保护隐私。专家级模型专注于融合金融、IT与艺术等特定知识。传统模型专注于通用知识发现并升级专家模型。在此分类下，个人模型直接与用户交互，拥有用户（加密的）个人信息。此外，此类模型须足够小以在个人电脑或移动设备上运行，且须实时响应以获得更好用户体验并产出高质量结果。所提出的个人大语言模型可广泛应用于语言与视觉等任务。
引用
@article{arxiv.2309.14726,
title = {PLMM: Personal Large Language Models on Mobile Devices},
author = {Yuanhao Gong},
journal= {arXiv preprint arXiv:2309.14726},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2307.13221