基于神经网络的通用离散去噪器的去噪损失界
机器学习
2018-02-27 v2 信息论
math.IT
摘要
我们获得了最近提出的基于神经网络的通用离散去噪器Neural DUDE的去噪损失界，该去噪器仅通过最小化经验估计损失，便能仅从噪声损坏的数据中自适应地学习其参数。所得界类似于监督学习中标准经验风险最小化器（ERM）的泛化误差界，并且我们展示了著名的偏差-方差权衡也存在于我们的损失界中。我们开发的关键工具是无偏估计损失对真实去噪损失的集中不等式，该不等式被证明对所有有界网络参数和所有底层干净序列一致成立。为了证明主要结果，我们新颖地应用了统计学习理论中的工具。最后，我们展示了正如本文理论结果所预测的，Neural DUDE的超参数可以从小的验证集中选择，以显著改善去噪性能。
引用
@article{arxiv.1709.03657,
title = {A Denoising Loss Bound for Neural Network based Universal Discrete Denoisers},
author = {Taesup Moon},
journal= {arXiv preprint arXiv:1709.03657},
year = {2018}
}
备注
submitted to ICML 2018