无性能退化的微调
机器学习
2025-05-05 v1 人工智能
摘要
在应用领域中，对离线学习到的策略进行微调仍然是一项重大挑战。在微调过程中实现单调的性能提升通常很困难，因为智能体在微调早期阶段通常会经历性能退化。社区已经识别出在线微调已学习网络的多重困难，然而，大部分进展都集中在提高微调期间的学习效率上。在实践中，这会在微调期间带来严重的代价：最初，随着智能体进行探索并有效覆盖离线学习到的策略，其性能会退化。我们在一系列设置中表明，许多离线到在线的算法在微调期间要么表现出（1）性能退化，要么表现出（2）学习缓慢（有时几乎没有提升）。我们引入了一种新的微调算法，该算法基于一种名为 Jump Start 的算法，它根据在线性能估计逐步允许更多的探索。经验表明，与旨在实现相同目标的现有算法相比，该方法实现了快速微调并显著减少了性能退化。
引用
@article{arxiv.2505.00913,
title = {Fine-Tuning without Performance Degradation},
author = {Han Wang and Adam White and Martha White},
journal= {arXiv preprint arXiv:2505.00913},
year = {2025}
}