面向 LLM 生成物联网的高效提示
人工智能
2024-10-08 v3 计算与语言
摘要
大型语言模型 (LLM) 在各类任务上展现出惊人的能力, 将 LLM 的能力集成到物联网 (IoT) 应用中近年来引起了广泛关注。由于安全考虑, 许多机构避免访问最先进的商业 LLM 服务, 需在本地网络环境中部署和利用开源 LLM。然而, 开源 LLM 在性能上通常受限, 例如算术计算和推理能力有限, 且将 LLM 应用于实际系统的研究尚不充分。因此, 本文提出一种基于 LLM 的生成物联网 (GIoT) 系统, 部署于本地网络环境。为缓解 LLM 的局限性并提供具竞争力的性能, 我们应用提示工程方法提升开源 LLM 的能力, 设计提示管理模块和后处理模块以管理针对不同任务的定制提示并处理 LLM 生成的结果。为演示所提系统的有效性, 我们以表格问答 (Table-QA) 任务为案例研究, 因为表格数据通常比纯文本更具挑战性, 其复杂结构、异构数据类型以及有时巨大的数据规模。我们在两个流行的 Table-QA 数据集上进行全面实验, 结果表明我们的方案可实现与最先进 LLM 相当的性能, 说明所提出的 LLM 基于 GIoT 系统通过定制提示方法可提供具竞争力的性能, 且易于扩展至新任务而无需训练。
引用
@article{arxiv.2406.10382,
title = {Efficient Prompting for LLM-based Generative Internet of Things},
author = {Bin Xiao and Burak Kantarci and Jiawen Kang and Dusit Niyato and Mohsen Guizani},
journal= {arXiv preprint arXiv:2406.10382},
year = {2024}
}
备注
14 pages, 11 figures. IEEE Internet of Things Journal, 2024