从大型语言模型进行知识蒸馏：面向住宅能源建模
计算与语言
2025-02-06 v1 机器学习
摘要
机器学习（ML）在智能电网研究中日益重要，但现实、多样化的数据获取受限——往往因隐私问题——减缓了进展，并加剧了能源部门对采纳基于 ML 的策略持有的疑虑。我们提议将大型语言模型（LLM）集成到能源建模中，以生成住宅能源使用的真实、在文化上敏感且具有行为特异性的数据，覆盖多个地区。在本研究中，我们对比评估了五种不同的 LLM，以系统性地为来自六个不同国家的家庭生成结构、天气模式和日常消费档案。我们的四阶段方法综合了情境性日常数据，包括在文化上细腻的活动、真实的天气范围、HVAC 操作以及独特的能源信號，这些信號捕捉独特的消费足迹。此外，我们还探讨了一种替代策略，即可直接集成外部天气数据集，绕过中间天气建模阶段，同时确保物理一致的数据输入。生成的数据集为理解文化、气候和行为因素如何共同塑造碳排放提供了洞见，为基于情景的能源优化提供了成本有效的途径。该方法凸显了提示工程结合知识蒸馏如何推动可持续能源研究和气候减排努力。源代码已公开于 https://github.com/Singularity-AI-Lab/LLM-Energy-Knowledge-Distillation。
引用
@article{arxiv.2502.03034,
title = {Knowledge Distillation from Large Language Models for Household Energy Modeling},
author = {Mohannad Takrouri and Nicolás M. Cuadrado and Martin Takáč},
journal= {arXiv preprint arXiv:2502.03034},
year = {2025}
}
备注
Source code is available at https://github.com/Singularity-AI-Lab/LLM-Energy-Knowledge-Distillation