CNT（含噪目标条件化）：一种利用自顶向下反馈的新算法
机器学习
2022-10-28 v2 机器学习
摘要
我们提出一种用于监督学习的新型正则化器，称为含噪目标条件化（CNT）。该方法在于以随机噪声水平（从小噪声到大噪声）对模型施加目标（例如模仿学习中的动作或分类中的标签）的含噪版本作为条件。在推断时，由于我们不知晓目标，仅以噪声替代含噪目标来运行网络。CNT 通过含噪标签提供提示（噪声越小，越易推断真实目标）。这带来两个主要好处：1）自顶向下反馈使模型聚焦于更简单且更易处理的子问题；2）模型并非从零学习解决任务，而是先掌握简单样本（噪声较小），再逐步进阶至困难样本（噪声较大）。
引用
@article{arxiv.2210.09505,
title = {CNT (Conditioning on Noisy Targets): A new Algorithm for Leveraging Top-Down Feedback},
author = {Alexia Jolicoeur-Martineau and Alex Lamb and Vikas Verma and Aniket Didolkar},
journal= {arXiv preprint arXiv:2210.09505},
year = {2022}
}