Dropout训练的信息几何
机器学习
2022-06-23 v1 信息论
机器学习
math.IT
摘要
Dropout是神经网络训练中最流行的正则化技术之一。由于其功效与思想简洁，dropout已被广泛分析，并提出了许多变体。本文从信息几何的视角以统一方式讨论了dropout的若干性质。我们表明dropout使模型流形平坦化，且其正则化性能取决于曲率大小。进而，我们表明dropout本质上对应于一种依赖于Fisher信息的正则化，并通过数值实验支持该结果。这种从另一视角对该技术的理论分析有望极大助力仍处于起步阶段的神经网络的理解。
引用
@article{arxiv.2206.10936,
title = {Information Geometry of Dropout Training},
author = {Masanari Kimura and Hideitsu Hino},
journal= {arXiv preprint arXiv:2206.10936},
year = {2022}
}