通过分类器匿名化打破层间共适应
机器学习
2019-06-05 v1 机器学习
摘要
本研究探讨神经网络中特征提取器与分类器之间的共适应问题。对特征提取器与分类器的朴素联合优化常导致这样一种情形：过于复杂的、适应于某一极特定分类器的特征分布会降低测试性能。我们引入一种称为分类器匿名化特征提取器优化（FOCA）的方法，其设计意图是在优化过程中通过使用许多随机生成的弱分类器，来避免特征提取器与特定分类器之间的显式共适应。我们提出一个数学命题，表明在特殊条件下 FOCA 特征在同一类内以类可分离的方式形成点状分布。在更一般条件下的真实数据实验提供了支持性证据。
引用
@article{arxiv.1906.01150,
title = {Breaking Inter-Layer Co-Adaptation by Classifier Anonymization},
author = {Ikuro Sato and Kohta Ishikawa and Guoqing Liu and Masayuki Tanaka},
journal= {arXiv preprint arXiv:1906.01150},
year = {2019}
}
备注
9 pages. Accepted to ICML 2019