随机桥作为参数高效微调的有效正则化器
计算与语言
2023-05-30 v1
摘要
参数高效微调方法（PETs）在微调大型预训练语言模型（PLMs）方面取得了有前景的结果。通过将冻结的 PLM 与额外的可微调参数分别形式化为系统与控制器，PETs 可在理论上奠基于最优控制，并进一步视为优化最优控制文献中的终端代价与运行代价。尽管这一理论奠基十分优雅，但在实践中，现有 PETs 常忽略运行代价而仅优化终端代价，即只关注优化输出状态的损失函数，而不顾依赖于中间状态的运行代价。由于直接建模中间状态并设计运行代价函数并非易事，我们提出使用隐变量随机桥来正则化中间状态，并将该正则化作为 PETs 的运行代价。作为首个提出使用随机桥作为中间状态正则化器（运行代价）的正则化 PETs 的工作，我们展示了该正则化在不同任务、PLM 和 PETs 上的有效性与通用性。鉴于其巨大潜力与能力，我们相信未来可为 PETs 设计更复杂的正则化器并取得更优性能。代码发布于 \url{https://github.com/thunlp/stochastic-bridge-pet/tree/main}。
引用
@article{arxiv.2305.17670,
title = {Stochastic Bridges as Effective Regularizers for Parameter-Efficient Tuning},
author = {Weize Chen and Xu Han and Yankai Lin and Zhiyuan Liu and Maosong Sun and Jie Zhou},
journal= {arXiv preprint arXiv:2305.17670},
year = {2023}
}
备注
ACL 2023 Findings