FRIDA 帮助援助！分析基于对象的常见常识推理中合成数据效果——面向灾害响应

在灾害救援场景的人机交互中，大型语言模型（LLM）具有相当大的物理推理能力，可用于协助完成任务目标。然而，这些推理能力往往仅存在于较大的模型中，而由于尺寸限制，这些模型目前难以部署在机器人系统上。为满足问题空间的要求，我们引入了一个数据集和管道，用于创建 Field Reasoning and Instruction Decoding Agent（FRIDA）模型。在我们的管道中，领域专家和语言学家组合他们的知识，以制作高质量的少量样本提示，用于生成用于微调的合成数据。我们手工筛选了用于少量样本提示和评估的数据集，以提高LLM在通用和灾害特定对象上的物理常识推理能力。我们同时进行了一个消融研究，以了解哪些类型的合成数据对性能影响最大。我们对几种小型指令调优模型进行微调，发现仅在对象物理状态和功能数据上进行消融的FRIDA模型在我们的评估中，超过了所有使用合成数据的FRIDA模型以及基础模型。我们展示了FRIDA管道能够以最小的数据量灌输物理常识。