变分正激励噪声：噪声如何裨益模型
机器学习
2025-05-29 v2 计算机视觉与模式识别
摘要
大量工作旨在缓解噪声的影响，其基于噪声起负面作用的传统假设。然而，一些现有工作表明该假设并非总是成立。本文在正向激励噪声（Pi-Noise）框架下研究如何通过随机噪声裨益经典模型。由于 Pi-Noise 的理想目标难以处理，我们提出转而优化其变分界，即变分 Pi-Noise（VPN）。借助变分推断，我们设计了一个由神经网络实现的 VPN 生成器，用于增强基模型并简化基模型的推断，且无需改变基模型的架构。得益于基模型与 VPN 生成器的独立设计，VPN 生成器可与大多数现有模型协同工作。实验表明，所提出的 VPN 生成器能够改进基模型。令人欣慰的是，训练后的变分 VPN 生成器倾向于模糊复杂图像中的无关成分，这符合我们的预期。
引用
@article{arxiv.2306.07651,
title = {Variational Positive-incentive Noise: How Noise Benefits Models},
author = {Hongyuan Zhang and Sida Huang and Yubin Guo and Xuelong Li},
journal= {arXiv preprint arXiv:2306.07651},
year = {2025}
}
备注
Acceptted by IEEE Transactions on Pattern Analysis and Machine Intelligence