基于记忆驱动的 LLM 智能体的可解释建筑中运动预测
机器人学
2025-04-22 v1
摘要
建筑任务本质上具有不可预测性，动态环境和安全关键需求对工人构成重大风险。外骨骼运动虽具潜在帮助作用，但若无法在多样化的运动模式下准确识别意图，将难以发挥作用。本文提出一种运动预测智能体，利用增强记忆系统的大语言模型(LLM)，旨在改善此类环境下的外骨骼协作。该智能体通过多模态输入——语音指令和来自智能眼镜的视觉数据——整合感知模块、短期记忆(STM)、长期记忆(LTM)及精炼模块，实现有效的运动模式预测。评估结果显示，无记忆时基线加权 F1 分数为 0.73，加入 STM 后提升至 0.81，二者联合使用时达到 0.90，尤其在模糊指令和安全关键指令方面表现突出。校准指标方面，Brier 分数从 0.244 下降至 0.090，ECE 从 0.222 下降至 0.044，确认可靠性显著提升。该框架支持更安全的高层次人机外骨骼协作，具有推动动态行业中自适应辅助系统发展的潜力。
引用
@article{arxiv.2504.15263,
title = {Interpretable Locomotion Prediction in Construction Using a Memory-Driven LLM Agent With Chain-of-Thought Reasoning},
author = {Ehsan Ahmadi and Chao Wang},
journal= {arXiv preprint arXiv:2504.15263},
year = {2025}
}