MAC：多智能体宪法学习

宪法 AI（Constitutional AI）是一种基于以自然语言书写的规则集来监督和控制大语言模型的方法。这些规则通常由人类专家编写，但原则上可以在充分的训练数据支持下自动学习。现有的基于 LLM 的提示优化器试图实现此目标，但由于（1）需要大量标记示例且（2）优化后的提示缺乏结构，导致效果递减。为解决这些限制，我们提出了多智能体宪法学习（Multi-Agent Constitutional Learning, MAC），其在由具有专门任务的代理网络上优化，以接受、编辑或拒绝规则更新。我们还提出了 MAC+，通过在成功轨迹上训练代理来强化导致更高奖励的更新。我们在标记个人可识别信息（PII）的分类任务上评估了 MAC，这是一个标签有限且可解释性至关重要的任务，并演示其可推广到其他代理任务，如工具调用。MAC 在最近的提示优化方法中超越 50%，产生人类可读和可审计的规则集，实现了相当于监督微调和 GRPO 的性能，无需参数更新。