FloodBrain：基于网络检索增强生成与 LLM 的洪涝灾害报告系统
人工智能
2023-11-07 v1 计算与语言
摘要
快速的灾害影响报告对于人道主义援助规划至关重要。大语言模型（LLMs）以其撰写连贯文本及完成多种与影响报告相关任务（如问答或文本摘要）的能力而著称。然而，LLMs 受限于其训练数据中的知识，且容易生成不准确或“幻觉”信息。为此，我们引入了一个体现于工具 FloodBrain（floodbrain.com）中的复杂流水线，专门通过从网络提取并整理信息来生成洪涝灾害影响报告。我们的流水线吸收网络搜索结果中的信息，以生成关于洪涝事件的详尽且准确的报告。我们在工具中测试了不同的 LLM 作为骨干模型，并将其生成的报告与人工撰写的报告在不同指标上进行比较。与其他研究类似，我们发现当将生成报告与人工撰写报告比较时，GPT-4 给出的评分与人类评估者给出的评分之间存在显著相关性。此外，我们进行了消融研究以测试流水线各单一组件及其对最终报告的相关性。借助我们的工具，我们旨在推进 LLMs 在灾害影响报告中的使用，并缩短洪涝灾害后人道主义协调的时间。
引用
@article{arxiv.2311.02597,
title = {FloodBrain: Flood Disaster Reporting by Web-based Retrieval Augmented Generation with an LLM},
author = {Grace Colverd and Paul Darm and Leonard Silverberg and Noah Kasmanoff},
journal= {arXiv preprint arXiv:2311.02597},
year = {2023}
}
备注
Version is the one submitted to Artificial Intelligence for Humanitarian Assistance and Disaster Response Workshop @Neurips2023. All authors contributed equally to this work