基于结构演化优化软提示调优
计算与语言
2026-02-19 v1
摘要
软提示调优利用连续嵌入在大型预训练语言模型 (LLM) 中捕获任务特定信息，在零样本或少量样本设置中实现竞争性能。然而，软提示依赖于高维、隐式的表征，缺乏明确的语义和可追溯的训练行为，限制了其可解释性。为此，我们提出一种基于拓扑形态演化的软提示调优优化方法。具体而言，我们采用拓扑数据分析 (TDA) 中的持久同调来量化软提示在连续参数空间中的结构表征及其训练过程演化。定量分析表明，拓扑稳定且紧凑的软提示可实现更佳的下游性能。基于此经验观察，我们构建了一个用于软提示调优的损失函数，称为拓扑软提示损失 (TSLoss)。TSLoss 通过量化参数间的连通性和冗余性，引导模型学习结构稳定的适应。大量实验表明，使用 TSLoss 的训练可加速收敛并提高调优性能，为从结构和拓扑视角理解和优化软提示调优提供了可解释的方法。
引用
@article{arxiv.2602.16500,
title = {Optimizing Soft Prompt Tuning via Structural Evolution},
author = {Zhenzhen Huang and Chaoning Zhang and Haoyu Bian and Songbo Zhang and Chi-lok Andy Tai and Jiaquan Zhang and Caiyan Qin and Jingjing Qu and Yalan Ye and Yang Yang and Heng Tao Shen},
journal= {arXiv preprint arXiv:2602.16500},
year = {2026}
}
备注
This manuscript has been submitted to IEEE Transactions on Knowledge and Data Engineering (TKDE) for peer review