正激励噪声
机器学习
2022-12-20 v1
摘要
噪声在工程、学习系统等多个领域通常被视为一个严重问题。然而，本文旨在探究这一传统观点是否始终成立。文章首先定义了任务熵，它从信息熵扩展而来，用于度量任务的复杂性。引入任务熵后，噪声可根据其能否降低任务复杂性分为两类：正激励噪声（Pi-noise 或 π-noise）和纯噪声。有趣的是，如理论和实验所示，即使是简单的随机噪声也可以成为简化任务的 π-noise。π-noise 为某些模型提供了新的解释，并为多任务学习、对抗训练等领域提供了一个新的原理。此外，它提醒我们重新思考对噪声的研究。
引用
@article{arxiv.2212.09541,
title = {Positive-incentive Noise},
author = {Xuelong Li},
journal= {arXiv preprint arXiv:2212.09541},
year = {2022}
}