FaGeL：基于织物的大语言模型智能体赋能具身智能进化与自主人机协作
人机交互
2024-12-31 v1
摘要
大语言模型(LLMs)的最新进展增强了具身智能体的推理能力，推动了AGI驱动机器人技术的发展。虽然LLMs已应用于语义推理和任务泛化等任务，但它们在开放物理空间探索中的潜力仍未得到充分探索。本文介绍了FaGeL（由具身智能与LLMs赋能的织物智能体），一种集成智能织物技术的具身智能体，用于实现无缝、非侵入式的人机交互。FaGeL利用来自可穿戴和环境传感器的多模态数据自主生成任务，并根据生成文本中的隐式人类反馈（无需显式评分或偏好）优化其行为。我们还引入了一个token级显著性图来可视化LLM微调，增强了token级对齐的可解释性。该系统利用双反馈机制改进token级对齐，并解决了非侵入式人机交互和认知进化中的挑战。我们的贡献包括FaGeL的开发、用于AI对齐的DualCUT算法，以及在协作任务中的实验验证，证明了FaGeL通过隐式反馈自主适应和进化的能力。未来，我们计划探索FaGeL在动态环境中的可扩展性及其与其他AI系统的集成，以开发能够无缝适应多样化人类需求的AGI智能体。
引用
@article{arxiv.2412.20297,
title = {FaGeL: Fabric LLMs Agent empowered Embodied Intelligence Evolution with Autonomous Human-Machine Collaboration},
author = {Jia Liu and Min Chen},
journal= {arXiv preprint arXiv:2412.20297},
year = {2024}
}