直接选个符号：用梯度符号丢弃优化深度多任务模型
机器学习
2020-10-15 v1 计算机视觉与模式识别
摘要
绝大多数深度模型使用多个梯度信号（通常对应于多个损失项之和）来更新一组共享的可训练权重。然而，这些多次更新可能通过将模型拉向冲突方向而阻碍最优训练。我们提出梯度符号丢弃（GradDrop），一种基于一致性水平在激活层对梯度进行采样的概率掩蔽方法。GradDrop作为一个简单的深度层实现，可用于任何深度网络，并与其他梯度平衡方法协同。我们展示了GradDrop在传统多任务与迁移学习设定中优于最先进的多损失方法，并讨论了GradDrop如何揭示最优多损失训练与梯度随机性之间的联系。
引用
@article{arxiv.2010.06808,
title = {Just Pick a Sign: Optimizing Deep Multitask Models with Gradient Sign Dropout},
author = {Zhao Chen and Jiquan Ngiam and Yanping Huang and Thang Luong and Henrik Kretzschmar and Yuning Chai and Dragomir Anguelov},
journal= {arXiv preprint arXiv:2010.06808},
year = {2020}
}
备注
Conference on Neural Information Processing Systems (NeurIPS) 2020