LITE：基于多模态大语言模型的环境生态系统建模
计算与语言
2024-08-13 v2
摘要
环境生态系统建模在我们星球的可持续管理中发挥着关键作用。准确预测跨越空间和时间的关键环境变量有助于制定明智的政策与决策，从而改善民生。最近，基于深度学习的方法在建模用于预测环境变量的时空关系方面展现出前景。然而，由于数据收集的高昂成本和测量仪器的故障，环境数据中常出现不完整特征和分布偏移，而这些方法在处理这些问题时往往存在不足。为了解决这些问题，我们提出了 LITE——一种用于环境生态系统建模的多模态大语言模型。具体而言，LITE 通过将不同的环境变量转换为自然语言描述和折线图图像来统一它们。然后，LITE 利用统一的编码器来捕获不同模态中的时空动态与相关性。在此步骤中，不完整的特征由稀疏混合专家框架进行插补，分布偏移则通过纳入来自过去观测的多粒度信息来处理。最后，在领域指令的引导下，采用语言模型融合多模态表示以进行预测。我们的实验表明，与最佳基线相比，LITE 在不同领域的环境时空预测中显著提升了性能，预测误差降低了 41.25%。这证明了其有效性。我们的数据和代码可在 https://github.com/hrlics/LITE 获取。
引用
@article{arxiv.2404.01165,
title = {LITE: Modeling Environmental Ecosystems with Multimodal Large Language Models},
author = {Haoran Li and Junqi Liu and Zexian Wang and Shiyuan Luo and Xiaowei Jia and Huaxiu Yao},
journal= {arXiv preprint arXiv:2404.01165},
year = {2024}
}
备注
COLM camera-ready version. Code is released at https://github.com/hrlics/LITE