DropKAN：通过掩码后激活来正则化 KANs
机器学习
2024-08-21 v4 人工智能
摘要
我们提出了 DropKAN（Dropout Kolmogorov-Arnold Networks），这是一种正则化方法，用于防止 Kolmogorov-Arnold 网络（KANs）中激活函数权重的共适应。DropKAN 通过在 KAN 层中嵌入 drop mask，随机掩码 KANs 计算图中某些激活函数的输出。我们展示，这一简单操作（只需最小的代码修改）具有正则化效果，并始终导致 KANs 的更好泛化。我们分析了标准 Dropout 在 KANs 中的适用性，表明对 KANs 的神经元应用 Dropout 可能导致前向传播中的不可预测行为。我们进行了一项基于真实世界机器学习数据集的实证研究，以验证我们的发现。我们的结果表明，DropKAN 是 KANs 使用标准 Dropout 的更佳替代方案，并且改进了 KANs 的泛化性能。我们的 DropKAN 实现已发布在：https://github.com/Ghaith81/dropkan。
引用
@article{arxiv.2407.13044,
title = {DropKAN: Regularizing KANs by masking post-activations},
author = {Mohammed Ghaith Altarabichi},
journal= {arXiv preprint arXiv:2407.13044},
year = {2024}
}