面向 Home Assistant 的设备端 LLMs：意图检测与响应生成的双重角色
计算与语言
2025-03-24 v2
摘要
本文探讨了在仅运行于资源受限、仅 CPU 的边缘硬件上的大型语言模型（LLM），是否可以完成两个任务：(i) 插槽和意图检测；(ii) 自然语言响应生成，用于智能家居助手。我们微调 LLM 以产生 JSON 动作调用和文本响应。我们的实验表明，16 位和 8 位量化变体在插槽和意图检测方面保持高准确率，同时在生成文本方面保持强大的语义连贯性；而 4 位模型虽保留生成流畅性，但在设备服务分类准确率方面出现明显下降。进一步的评估在噪声人类（非合成）提示和超出域意图方面确认了模型的泛化能力，准确率在 80--86% 之间。尽管平均推理时间为 5--6 秒/查询——对单次命令可接受，但对多轮对话不够理想——我们的结果确认了在不依赖专用硬件的情况下，设备端 LLM 能够有效地统一命令解释和灵活的响应生成用于家庭自动化。
引用
@article{arxiv.2502.12923,
title = {On-Device LLMs for Home Assistant: Dual Role in Intent Detection and Response Generation},
author = {Rune Birkmose and Nathan Mørkeberg Reece and Esben Hofstedt Norvin and Johannes Bjerva and Mike Zhang},
journal= {arXiv preprint arXiv:2502.12923},
year = {2025}
}
备注
WNUT 2025