模型能否从示例中学习技能组合？

随着大语言模型（LLM）不断进步，其组合一般化——即将在训练期间未遇到的新方式组合所学技能的能力——受到广泛关注。这种类型的一般化，尤其是在训练数据之外的情景中，也是 AI 安全与对齐研究中高度关注的议题。近期研究引入了 SKILL-MIX 评估，其中模型被要求组合短段文字，展示指定 $k$ 元技能的使用。尽管小模型在组合 $k=3$ 时仍难以胜任，但像 GPT-4 这样的大模型在 $k=5$ 和 $k=6$ 时表现相当不错。本文采用类似 SKILL-MIX 的设置来评估较小模型从示例中学习组合一般化的能力。我们利用多样化的语言技能——包括修辞、文学、推理、 Theory of mind 和常识——使用 GPT-4 生成表现特定 $k$ 子技能集合的文本样本。随后对 7B 和 13B 参数模型在这些组合技能文本上的微调，针对递增的 $k$ 值，揭示了以下发现：（1）在 $k=2$ 和 $k=3$ 的技能组合上进行训练，可显著提升模型在组合 $k=4$ 和 $k=5$ 技能文本的能力，尽管模型在训练期从未见过此类示例。（2）当技能类别分为训练组和保留组时，模型在测试期间能够显著提升处理保留技能文本的能力，尽管仅在微调期间见到训练技能，说明即使面对先前未遇见的技能，训练方法也具有有效性。这一研究还表明，纳入富有技能（可能为合成）文本进行训练可显著增强模型的组合能力。