AsynDBT：面向大语言模型高效In-Context学习的异步分布式双层调优
机器学习
2026-02-23 v1 人工智能
摘要
随着大语言模型(LLM)的快速发展，越来越多的应用利用云端LLM API以降低使用成本。然而，由于云端模型的参数和梯度不可知，用户必须手动或使用启发式算法调整提示以干预LLM输出，这需要高昂的优化过程。In-Context学习(ICL)最近作为一种新兴范式涌现，使LLM能够通过输入中提供的示例来适应新任务，无需参数更新。然而，ICL的发展常受限于缺乏高质量数据，这些数据往往是敏感的且难以共享。联邦学习(FL)通过在保护数据隐私的同时协同训练分布式LLM，提供了潜在解决方案。尽管如此，之前 incorporating ICL的FL方法面临严重的straggler问题以及异构非同分布数据的挑战。为此，我们提出一种异步分布式双层调优(AsynDBT)算法，基于LLM反馈优化In-Context学习样本和提示片段，从而提升下游任务性能。凭借其分布式架构，AsynDBT提供隐私保护并适应异构计算环境。此外，我们给出理论分析，确立了所提算法的收敛保证。多个基准数据集上的广泛实验表明，AsynDBT在有效性和效率方面均表现出色。
引用
@article{arxiv.2602.17694,
title = {AsynDBT: Asynchronous Distributed Bilevel Tuning for efficient In-Context Learning with Large Language Models},
author = {Hui Ma and Shaoyu Dou and Ya Liu and Fei Xing and Li Feng and Feng Pi},
journal= {arXiv preprint arXiv:2602.17694},
year = {2026}
}
备注
Accepted in Scientific Reports