虚拟参数锐化：用于推理时推理增强的动态低秩扰动
机器学习
2026-02-24 v1 人工智能
数学软件
概率论
摘要
我提出了虚拟参数锐化（Virtual Parameter Sharpening，简称 VPS），这是一种推理时技术，通过为冻结的变换器线性层增添动态的、基于激活条件的低秩扰动。不同于LoRA等参数高效微调方法学习静态低秩适配器，VPS通过批次激活统计信息和可选梯度信号动态构建扰动因子，实现无持久参数更新的测试时适应。扰动形式为 Delta W = gamma * W^T V U^T W，其中选择矩阵U和V通过稀疏激活导向选择或Sylvester耦合回归构建。我们对扰动的谱特性进行理论分析，描述了一个自适应策略系统，该系统根据激活能量和token级熵调制扰动幅度。该系统针对具有ground-truth监督的任务采用多目标验证和迭代细化。我们呈现完整的算法框架，分析其数学基础，讨论基于激活条件的计算如何增强大型语言模型的推理能力。实现和实验代码均已公开于 https://github.com/Saba-Kublashvili/vps-virtual-parameter-synthesis。
引用
@article{arxiv.2602.19169,
title = {Virtual Parameter Sharpening: Dynamic Low-Rank Perturbations for Inference-Time Reasoning Enhancement},
author = {Saba Kublashvili},
journal= {arXiv preprint arXiv:2602.19169},
year = {2026}
}