TEGEE：任务定义引导的专家集成用于可泛化与少样本学习
计算与语言
2024-12-17 v3 人工智能
摘要
大型语言模型（LLMs）展现出执行上下文学习（ICL）的能力，即直接从演示中提供的示例获取新任务。这一过程被认为通过一种隐式的任务选择机制运作，该机制涉及从这些演示中提取和处理任务定义。然而，关键问题依然存在：哪一个更本质——任务提取还是定义？以及如何进一步提升这些能力？为解决这些问题，我们提出了 \textbf{TEGEE}（任务定义引导的专家集成），这是一种显式提取任务定义并基于特定任务生成响应的方法。我们的框架采用双 3B 模型方法，每个模型承担不同角色：一个专注于任务定义提取，另一个负责从演示中学习。这种模块化方法支持了“提取任务定义比处理任务本身更重要”的假设。实证评估表明，TEGEE 的表现与更大的 LLaMA2-13B 模型相当。通过利用模块化设计，我们的方法将传统的 ICL 从少样本学习扩展至多样本学习，支持无限数量的演示并增强了持续学习能力。
引用
@article{arxiv.2403.04233,
title = {TEGEE: Task dEfinition Guided Expert Ensembling for Generalizable and Few-shot Learning},
author = {Xingwei Qu and Yiming Liang and Yucheng Wang and Tianyu Zheng and Tommy Yue and Xingyuan Bu and Lei Ma and Stephen W. Huang and Jiajun Zhang and Yinan Shi and Chenghua Lin and Jie Fu and Ge Zhang},
journal= {arXiv preprint arXiv:2403.04233},
year = {2024}
}