LightLLM: 用于预测光感知的通用大语言模型

我们提出LightLLM，一种为光基感知任务微调预训练大语言模型（LLM）的模型。它集成了传感器数据编码器以提取关键特征， contextual prompt 提供环境信息，以及融合层将这些输入整合为统一表示。该组合输入随后由预训练LLM处理，该模型保持冻结状态，同时通过添加轻量级可训练组件进行微调，从而在不改变原始参数的前提下适应新任务。这种方法使LLM能够针对特定光感知任务进行灵活适应，同时具有最小的计算开销和 retraining effort。我们为三个光感知任务实现了LightLLM：基于光的位置定位、户外日照预测和室内日照估计。使用真实世界的实验数据集，我们展示了LightLLM在先前看不见的环境中的性能显著优于最先进的方法，实现了定位精度提升4.4倍，室内日照估计提升3.4倍。我们进一步展示了LightLLM在直接提示下超过ChatGPT-4，凸显了LightLLM针对传感器数据与文本提示融合的专用架构的优势。