别只演示了，教我原理：基于原理的多智能体提示策略用于文本分类
计算与语言
2025-02-12 v1 人工智能
摘要
我们提出了基于原理的提示策略（PRINCIPLE-BASED PROMPTING），这是一种简单而有效的多智能体提示策略，用于文本分类。该方法首先要求多个LLM代理独立基于分析带或不带标签的演示样本生成候选原理，再通过最终终端代理将其整合为最终原理，然后将其发送给分类代理以执行下游分类任务。针对不同规模的LLM，在二进制和多类分类数据集上进行大量实验表明，我们的方法不仅在宏平均F1分数上显著优于零样本提示（提升1.55%至19.37%），而且还优于其他强大基线（如CoT和stepback提示）。我们的方法生成的原理在两个私有数据集上比人工设计的原理更有助于LLM在分类任务中发挥更好作用。我们的多智能体基于原理的提示方法在表现上与演示性的少样本提示方法持平或更好，却显著降低了推理成本。消融研究表明，标签信息和多智能体协作LLM框架在生成高质量原理以促进下游分类任务方面发挥重要作用。
引用
@article{arxiv.2502.07165,
title = {Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification},
author = {Peipei Wei and Dimitris Dimitriadis and Yan Xu and Mingwei Shen},
journal= {arXiv preprint arXiv:2502.07165},
year = {2025}
}
备注
To be published in AAAI 2025 Workshop on Advancing LLM-Based Multi-Agent Collaboration