AutoClip：面向源分离网络的自适应梯度裁剪
音频与语音处理
2020-07-30 v1 机器学习
声音
机器学习
摘要
梯度裁剪是改进梯度下降的已知方法，但需手工选定裁剪阈值超参数。我们提出 AutoClip，一种基于训练期间观测到的梯度范数历史自动且自适应选择梯度裁剪阈值的简单方法。实验结果表明，应用 AutoClip 可提升音频源分离网络的泛化性能。对使用与未使用 AutoClip 训练的分离网络训练动态的观测显示，AutoClip 将优化引导至损失景观更平滑的区域。AutoClip 实现极简，可轻易集成入跨多领域的多种应用中。
引用
@article{arxiv.2007.14469,
title = {AutoClip: Adaptive Gradient Clipping for Source Separation Networks},
author = {Prem Seetharaman and Gordon Wichern and Bryan Pardo and Jonathan Le Roux},
journal= {arXiv preprint arXiv:2007.14469},
year = {2020}
}
备注
Accepted at 2020 IEEE International Workshop on Machine Learning for Signal Processing, Sept.\ 21--24, 2020, Espoo, Finland