ConstitutionalExperts：训练基于原则提示的混合专家模型
计算与语言
2024-03-11 v1 人工智能
摘要
大型语言模型在给定正确提示的情况下能够胜任多种任务，但编写提示仍然是一个困难且繁琐的过程。在这项工作中，我们引入了 ConstitutionalExperts，这是一种在给定训练数据集的情况下学习由宪法原则（即规则）组成的提示的方法。与先前将提示作为单一实体进行优化的方法不同，我们的方法通过精准编辑单个原则来逐步改进提示。我们还表明，通过为训练数据的不同语义区域学习独特的提示，并在推理时使用混合专家架构来路由输入，可以提高整体性能。我们在六个基准数据集上将我们的方法与其他最先进的提示优化技术进行了比较。我们还研究了 MoE 是否能改进这些其他技术。我们的结果表明，ConstitutionalExperts 在 F1 上比其他提示优化技术高出 10.9%，并且混合专家架构改进了所有技术，表明了其广泛的适用性。
引用
@article{arxiv.2403.04894,
title = {ConstitutionalExperts: Training a Mixture of Principle-based Prompts},
author = {Savvas Petridis and Ben Wedin and Ann Yuan and James Wexler and Nithum Thain},
journal= {arXiv preprint arXiv:2403.04894},
year = {2024}
}