推荐系统中的 Dropout 方法综述与实验验证

机器学习 2022-05-17 v2 信息检索

作者: Yangkun Li , Weizhi Ma , Chong Chen , Min Zhang , Yiqun Liu , Shaoping Ma , Yuekui Yang

摘要

过拟合是机器学习中的常见问题，意指模型过度拟合训练数据而在测试数据上表现不佳。在应对过拟合的各类方法中，dropout 是具代表性的方法之一。从随机丢弃神经元到丢弃神经结构，dropout 在提升模型性能方面取得了巨大成功。尽管过去多年已设计多种 dropout 方法并广泛应用，但其有效性、适用场景与贡献迄今尚未被全面总结与实证比较。进行全面综述正当其时。本文系统回顾已有的 dropout 方法，并按 dropout 操作所处阶段将其分为三大类。具体而言，涵盖了发表于顶级 AI 会议或期刊（如 TKDE、KDD、TheWebConf、SIGIR）的七十余种 dropout 方法。所设计的分类体系易于理解且能容纳新的 dropout 方法。随后，我们进一步讨论其应用场景、联系与贡献。为验证不同 dropout 方法的有效性，我们在具有丰富异构信息的推荐场景下进行了大量实验。最后，我们提出若干关于 dropout 值得深入探索的开放问题与潜在研究方向。

关键词

dropout 方法推荐系统过拟合神经网络分类体系实证比较异构信息

引用

@article{arxiv.2204.02027,
  title  = {A Survey on Dropout Methods and Experimental Verification in Recommendation},
  author = {Yangkun Li and Weizhi Ma and Chong Chen and Min Zhang and Yiqun Liu and Shaoping Ma and Yuekui Yang},
  journal= {arXiv preprint arXiv:2204.02027},
  year   = {2022}
}

备注

26 pages

推荐系统中的 Dropout 方法综述与实验验证

摘要

关键词

引用

备注

相关论文