Zhyper：用于条件化大语言模型微调的参数化超网络
计算与语言
2025-10-24 v2 机器学习
摘要
大语言模型 (LLM) 条件化指的是指示 LLM 根据特定文化的规范和价值观、特定政治倾向的信仰，或任何希望实现的文本指定语义条件化来生成内容。不幸的是，prompt engineering 并不能确保 LLM 符合所需的条件化，因为预训练和对齐数据集的归纳偏差。先前的工作集中注意力放在通过直接条件化 LoRA 权重来微调 LLM；然而，这类方法会引入大量参数。作为补救措施，我们提出 Zhyper，一个参数高效的参数化超网络框架，可从文本描述生成情境感知的 LoRA 适配器。实验表明，Zhyper 在多个基准测试上实现了与最新方法相当的性能，所需参数最多减少 26 倍。此外，我们将 Zhyper 扩展到文化对齐方面，演示了其在更广泛的领域设置中的改进泛化能力，以及更好地捕捉细粒度情境价值的能力。
引用
@article{arxiv.2510.19733,
title = {Zhyper: Factorized Hypernetworks for Conditioned LLM Fine-Tuning},
author = {M. H. I. Abdalla and Zhipin Wang and Christian Frey and Steffen Eger and Josif Grabocka},
journal= {arXiv preprint arXiv:2510.19733},
year = {2025}
}