输入凸神经网络的原理化权重初始化
机器学习
2023-12-21 v1 机器学习
摘要
输入凸神经网络 (ICNNs) 是一种能保证其输入输出映射具有凸性的网络。此类网络已成功应用于基于能量的建模、最优传输问题以及学习不变性。ICNNs 的凸性是通过使用非递减凸激活函数和非负权重来实现的。由于这些特殊性，先前隐式假设权重居中的初始化策略对 ICNNs 并不有效。通过研究信号在具有非负权重的层间的传播，我们能够为 ICNNs 推导出一种原理化的权重初始化方法。具体而言，我们通过移除权重从居中分布采样的假设来推广信号传播理论。在一组实验中，我们证明了我们的原理化初始化能有效加速 ICNNs 的学习并带来更好的泛化能力。此外，我们发现与普遍看法相反，ICNNs 在正确初始化时可以在没有跳跃连接的情况下进行训练。最后，我们将 ICNNs 应用于现实世界的药物发现任务，并表明它们能够实现更有效的分子潜在空间探索。
引用
@article{arxiv.2312.12474,
title = {Principled Weight Initialisation for Input-Convex Neural Networks},
author = {Pieter-Jan Hoedt and Günter Klambauer},
journal= {arXiv preprint arXiv:2312.12474},
year = {2023}
}
备注
Presented at NeurIPS 2023