OmniReflect：通过神经符号反思发现 LLM 代理可迁移的宪法
人工智能
2025-06-24 v1
摘要
提高大型语言模型 (LLM) 代理在复杂任务上的性能的工作主要集中在微调和迭代自我纠正上。然而，这些方法往往缺乏针对长期学习的通用机制，且在动态环境中效率不高。我们引入 OmniReflect，一个分层的、以反思为驱动的框架，用于构建宪法——从任务经验中提炼出的简洁指导原则，以增强 LLM 代理的有效性和效率。OmniReflect 有两种工作模式：自维持模式下，单个代理在任务执行期间定期自行 curate 其自身的反思；合作模式下，Meta-advisor 从小型校准数据集中提取宪法，以指导另一个代理。为构建这些宪法原则，我们采用神经网络、符号化和神经符号技术，实现上下文适应性与计算效率之间的平衡。实验结果显示，在自维持模式下，平均而言，各模型在 ALFWorld 上的任务成功率提升 10.3%，在 BabyAI 上的提升 23.8%，在 PDDL 上的提升 8.3%。在合作模式下，轻量级 Qwen3-4B ReAct 代理在 BabyAI 上超越所有 Reflexion 基线。这些发现凸显了 OmniReflect 在不同环境和底层模型中的鲁棒性和有效性。
引用
@article{arxiv.2506.17449,
title = {OmniReflect: Discovering Transferable Constitutions for LLM agents via Neuro-Symbolic Reflections},
author = {Manasa Bharadwaj and Nikhil Verma and Kevin Ferreira},
journal= {arXiv preprint arXiv:2506.17449},
year = {2025}
}