大型语言模型中的气候知识
计算与语言
2025-10-10 v1 机器学习
大气与海洋物理
摘要
大型语言模型（LLMs）日益被用于气候相关应用，理解其内部气候知识对于可靠性及误信息风险评估至关重要。尽管应用日益广泛，但LLMs召回参数化气候常数的能力尚未得到充分表征。我们聚焦于LLMs能否在无外部检索的情况下回答典型查询：特定地点1991-2020年7月平均2米气温。我们构建了全球1°分辨率陆地点的查询网格，提供坐标及地点描述，并与ERA5再分析数据验证回答。结果表明，LLMs编码了非平凡的气候结构，捕捉了纬度及地形模式，均方根误差为3-6°C，偏差为±1°C。然而，仍存在空间连贯误差，尤其在山地及高纬度地区。性能在1500米以上显著下降，RMSE达5-13°C，而在较低海拔地区为2-4°C。我们发现，包含地理背景信息（国家、城市、地区）可平均降低误差27%，大型模型对地点描述最为敏感。虽然模型捕捉到了1950-1974年与2000-2024年之间观测到的全球平均升温幅度，但未能再现温度变化的空间模式，这直接关系到评估气候变化。此限制表明，尽管LLMs可能捕捉到当下气候分布，但在代表长期温度变化在区域及局部层面的表达方面仍有挑战。我们的评估框架为量化LLMs参数化气候知识提供可复现的基准，并补充现有气候沟通评估。
引用
@article{arxiv.2510.08043,
title = {Climate Knowledge in Large Language Models},
author = {Ivan Kuznetsov and Jacopo Grassi and Dmitrii Pantiukhin and Boris Shapkin and Thomas Jung and Nikolay Koldunov},
journal= {arXiv preprint arXiv:2510.08043},
year = {2025}
}
备注
16 pages, 4 figures, 2 tables