从随机到监督：一种融合全局信息的新型Dropout机制
计算与语言
2018-10-11 v3 机器学习
机器学习
摘要
Dropout通过在训练期间随机丢弃神经网络中的单元来避免过拟合。受dropout启发，本文提出GI-Dropout，一种融合全局信息的新型dropout方法，以改进用于文本分类的神经网络。与传统dropout方法中按相同概率随机丢弃单元不同，我们旨在利用基于数据集全局信息的显式指令来引导训练过程。借助GI-Dropout，模型应更关注不明显的特征或模式。实验在七项文本分类任务（包括情感分析与主题分类）上证明了融合全局信息的dropout的有效性。
引用
@article{arxiv.1808.08149,
title = {From Random to Supervised: A Novel Dropout Mechanism Integrated with Global Information},
author = {Hengru Xu and Shen Li and Renfen Hu and Si Li and Sheng Gao},
journal= {arXiv preprint arXiv:1808.08149},
year = {2018}
}