化敌为友：深度网络从被其他网络简化的数据中学习
机器学习
2021-12-21 v1
摘要
在旨在使神经网络学习过程更有效的多种方法中，科学界开发了依据估计复杂度对样本排序、从更大网络蒸馏知识，或利用对抗机器学习背后原理的策略。近期提出了一种不同的思路，称为友好训练（Friendly Training），其通过添加自动估计的扰动来改变输入数据，以 facilitat 神经分类器的学习过程。该变换随着训练进行逐渐淡出，直至完全消失。本工作中我们重访并扩展了该思路，引入一种受对抗机器学习中神经生成器有效性启发、截然不同且新颖的方法。我们提出一个辅助多层网络，负责改变输入数据，使其在当前训练阶段更易于被分类器处理。该辅助网络与神经分类器联合训练，从而内在地增加了分类器的“深度”，并有望在数据改变过程中发现一般规律性。辅助网络的作用逐渐减弱直至训练结束，此时被完全丢弃，分类器被部署应用。我们将此方法称为神经友好训练（Neural Friendly Training）。涉及多个数据集与不同神经架构的扩展实验表明，神经友好训练超越了最初提出的友好训练技术，提升了分类器的泛化能力，尤其在含噪数据情况下。
引用
@article{arxiv.2112.09968,
title = {Being Friends Instead of Adversaries: Deep Networks Learn from Data Simplified by Other Networks},
author = {Simone Marullo and Matteo Tiezzi and Marco Gori and Stefano Melacci},
journal= {arXiv preprint arXiv:2112.09968},
year = {2021}
}