利用动态 Dropout 提升 Transformer 训练效率
机器学习
2024-11-06 v1
摘要
我们引入了动态 Dropout，这是一种新颖的正则化技术，旨在通过根据训练轮次或验证损失的改善动态调整 dropout 率来提升 Transformer 模型的训练效率。该方法解决了平衡正则化与模型容量的挑战，这对于实现快速收敛和高性能至关重要。我们的方法包括修改 GPT 模型以接受可变的 dropout 率，并在训练期间使用线性衰减、指数衰减和基于验证损失的调整等策略来更新 dropout 层。在 Shakespeare_char 数据集上的大量实验表明，与具有固定 dropout 率的基线模型相比，动态 Dropout 显著加速了训练并提高了推理效率。基于验证损失的调整策略提供了最佳的整体性能，突显了动态 Dropout 作为训练大规模 Transformer 模型的一项有价值技术的潜力。
引用
@article{arxiv.2411.03236,
title = {Enhancing Transformer Training Efficiency with Dynamic Dropout},
author = {Hanrui Yan and Dan Shao},
journal= {arXiv preprint arXiv:2411.03236},
year = {2024}
}