深度表示的统计特性：一项实证研究
机器学习
2020-12-03 v2 机器学习
摘要
本研究考察了八种表示正则化方法的影响，包括两种新开发的秩正则化器（RR）。研究表明，诸如相关性、稀疏性与秩等表示的统计特性可在训练过程中按预期被操控。此外，仅通过尝试所有表示正则化器并微调其作用强度，便有可能提升基线性能。与性能提升相反，未观察到性能与统计特性之间的一致关系。结果表明，操控统计特性可有助于改进性能，但仅通过其对于学习动态的影响或调参效应间接实现。
引用
@article{arxiv.1811.03666,
title = {Statistical Characteristics of Deep Representations: An Empirical Investigation},
author = {Daeyoung Choi and Kyungeun Lee and Duhun Hwang and Wonjong Rhee},
journal= {arXiv preprint arXiv:1811.03666},
year = {2020}
}