以噪抗噪：结合非对称 LoRA 与中毒 MoE 的框架

Zhaokun Wang; Jinyu Guo; Jingwen Pu; Lingfeng Chen; Hongli Pu; Jie Ou; Libo Qin; Wenhong Tian

以噪抗噪：结合非对称 LoRA 与中毒 MoE 的框架

机器学习 2025-10-22 v5 人工智能

作者: Zhaokun Wang , Jinyu Guo , Jingwen Pu , Lingfeng Chen , Hongli Pu , Jie Ou , Libo Qin , Wenhong Tian

摘要

当前用于将预训练语言模型适配到下游任务的参数高效微调方法容易受到噪声数据的干扰。传统的噪声处理方法要么依赖费力的数据预处理，要么采用容易产生误差累积的模型架构修改。与现有的噪声处理范式不同，我们提出了一种通过非对称 LoRA 中毒专家（LoPE）实现的抗噪适配方法，这是一个仅利用生成的噪声数据即可增强模型对噪声鲁棒性的新框架。受混合专家架构启发，LoPE 在非对称 LoRA 配置中策略性地集成了一个专用的中毒专家。通过两阶段范式，LoPE 在微调期间对中毒专家进行噪声注入，以增强其噪声判别和处理能力。在推理阶段，我们选择性地掩蔽该专用中毒专家，以利用正常专家获取的纯净知识，从而实现抗噪输出。大量实验表明，LoPE 仅通过低成本的噪声注入就实现了强大的性能和鲁棒性，这彻底消除了数据清洗的需求。

关键词

参数高效微调噪声鲁棒性 LoRA 混合专家数据中毒语言模型

引用

@article{arxiv.2505.23868,
  title  = {Noise-Robustness Through Noise: A Framework combining Asymmetric LoRA with Poisoning MoE},
  author = {Zhaokun Wang and Jinyu Guo and Jingwen Pu and Lingfeng Chen and Hongli Pu and Jie Ou and Libo Qin and Wenhong Tian},
  journal= {arXiv preprint arXiv:2505.23868},
  year   = {2025}
}

备注

Accecpted to NeurIPS 2025

以噪抗噪：结合非对称 LoRA 与中毒 MoE 的框架

摘要

关键词

引用

备注

相关论文