面向任意文本条件的 Learn-to-learn：一个由超网络驱动的 Meta-Gated LLM
计算与语言
2026-05-05 v1 机器学习
摘要
常规 LLM 可能受制于语料异构性与细微条件变化。虽然微调会引发灾难性遗忘问题，但将元学习应用于 LLM 也受其复杂性与可扩展性限制。本文激活 在 SwiGLU 块中的元信号，形成一种自适应调整 FFN 非线性的 meta-gating 机制。采用超网络动态生成 于文本条件下，为 LLM 提供元可控性。通过在不同条件类型（如任务、领域、人格与风格）上测试，我们的方法超越微调与元学习基线，能够在未见任务、条件类型或指令上进行合理推广。我们的代码可在 https://github.com/AaronJi/MeGan 查阅。
引用
@article{arxiv.2605.01973,
title = {Learn-to-learn on Arbitrary Textual Conditioning: A Hypernetwork-Driven Meta-Gated LLM},
author = {Luo Ji and Qi Qin and Ningyuan Xi and Teng Chen and Qingqing Gu and Hongyan Li},
journal= {arXiv preprint arXiv:2605.01973},
year = {2026}
}
备注
Accepted by ICML2026