STLM 工程报告：Dropout
计算与语言
2024-09-10 v1
摘要
在这项工作中，我们探讨了 dropout 对现代语言模型的相关性，特别是在参数规模小于 100M 的模型背景下。我们首先在给定小型高质量数据集的情况下探索其在提高模型样本效率方面的相关性，其次在模型可能欠拟合的较大数据集上探索其在改善其拟合质量方面的相关性。我们发现，与传统认知一致，dropout 在过拟合场景中仍然有效，此外，正如先前研究所建议的，即使在数据过剩的情况下，它也可能对改善模型的拟合具有一定的相关性。在此过程中，我们发现现有对这种性能提升背后机制的解释在语言建模情况下并不适用。
引用
@article{arxiv.2409.05423,
title = {STLM Engineering Report: Dropout},
author = {Dylan Hillier and Leon Guertler and Bobby Cheng and Cheston Tan},
journal= {arXiv preprint arXiv:2409.05423},
year = {2024}
}
备注
6 pages, 3 figures, For code base see https://github.com/LeonGuertler/SuperTinyLanguageModels