IoT-LLM：基于真实传感器数据增强大型语言模型推理的框架
人工智能
2025-12-02 v4 计算与语言
摘要
大型语言模型在文本任务中表现出色，但在物理世界推理任务中常常感到困难。受到人类认知中感知是推理基础的启发，我们探索了使用互联网物联网（IoT）数据和相关知识来增强语言模型感知能力的方法。本文系统性地研究了LLMs处理IoT感知任务的能力，通过增强其感知和知识库来提升这种能力，并提出了统一框架IoT-LLM来实现上述目标。在IoT-LLM中，我们自定义了三个步骤：将IoT数据预处理为合适的格式、通过IoT导向的检索增强生成来扩展LLM的知识库，并通过链路思考提示激活LLM的常识知识。我们设计了一个包含五个真实世界任务的基准测试，这些任务涉及不同的数据类型和推理复杂度，以评估IoT-LLM的性能。实验结果表明，IoT-LLM显著提高了LLMs处理IoT感知任务推理能力，以GPT-4o-mini等模型为例，平均提升了49.4%。
引用
@article{arxiv.2410.02429,
title = {IoT-LLM: a framework for enhancing Large Language Model reasoning from real-world sensor data},
author = {Tuo An and Yunjiao Zhou and Han Zou and Jianfei Yang},
journal= {arXiv preprint arXiv:2410.02429},
year = {2025}
}
备注
33 pages, 13 figures