IoT-Brain:用于语义-空间传感器调度的 LLM grounding
人工智能
2026-04-10 v1 多智能体系统
网络与互联网体系结构
摘要
由大规模传感器网络支撑的智能系统正从预定义的监控转向意图驱动的运行,暴露出语义到物理映射的关键鸿沟。虽然大语言模型 (LLM) 在语义理解方面表现卓越,但现有的感知中心管线是逆向的,忽视了何时何地感知的根本决策。我们将这种主动决策形式化为语义-空间传感器调度 (Semantic-Spatial Sensor Scheduling, S3),并表明直接的 LLM 规划不可靠,因为存在表示、推理和优化方面的内在差距。为弥合这些差距,我们引入了空间轨迹图 (Spatial Trajectory Graph, STG),这是一种由验证-提交原则治理的神经符号范式,将开放式规划转化为可验证的图优化问题。基于 STG,我们实现了 IoT-Brain,一个具体的系统实现,并构建了 TopoSense-Bench,一个包含 5,250 条自然语言查询、覆盖 2,510 台摄像机的校园规模基准。评估表明,IoT-Brain 相比最强搜索密集型方法提高了 37.6% 的任务成功率,运行速度近乎快 2 倍,使用的提示 token 数降低了 6.6 倍。在实际部署中,它接近可靠性上限,同时将网络带宽降低了 4.1 倍,为 LLM 与物理世界交互提供了前所未有的可靠性和效率。
引用
@article{arxiv.2604.08033,
title = {IoT-Brain: Grounding LLMs for Semantic-Spatial Sensor Scheduling},
author = {Zhaomeng Zhou and Lan Zhang and Junyang Wang and Mu Yuan and Junda Lin and Jinke Song},
journal= {arXiv preprint arXiv:2604.08033},
year = {2026}
}
备注
To appear in ACM MobiCom 2026; 13 pages, 12 figures