CODA：面向实例依赖丢弃架构构建的建构主义学习
机器学习
2021-06-17 v1 机器学习
摘要
Dropout作为一种防止过拟合的高效方法，在深度学习中引起了广泛的研究兴趣。近来，在决定丢弃哪些单元时引入结构信息的方法，相较于忽略结构信息的方法取得了更有前景的结果。然而，现有工作的一个主要问题在于，其在构建丢弃架构时未能区分不同实例。这对许多应用而言可能是显著的缺陷。为解决此问题，我们提出了面向实例依赖丢弃架构的建构主义学习（CODA），其受哲学理论——建构主义学习——的启发。具体而言，基于该理论，我们利用贝叶斯非参数方法Uniform过程设计了一种更好的丢弃技术，即Uniform过程混合模型。我们在5个真实世界数据集上评估了所提方法，并与其他SOTA丢弃技术比较了性能。实验结果表明了CODA的有效性。
引用
@article{arxiv.2106.08444,
title = {CODA: Constructivism Learning for Instance-Dependent Dropout Architecture Construction},
author = {Xiaoli Li},
journal= {arXiv preprint arXiv:2106.08444},
year = {2021}
}