CAWI：面向随机神经网络的共价对齐权重初始化
机器学习
2026-05-14 v1
摘要
随机神经网络（RdNNs）通过冻结随机初始化的输入到隐藏层权重，实现无需反向传播即可进行的高效训练，从而允许输出层获得闭式解。然而，传统的随机初始化对特征之间的依赖一无所知，忽略了数据中的相关性、非对称性及尾部依赖关系，这会导致条件数恶化和预测性能下降。鉴于RdNN文献中尚未针对这一局限性提出解决方案，本文提出了CAWI（Copula-Aligned Weight Initialization，共价对齐权重初始化）框架，通过拟合数据驱动的共价分布来生成输入到隐藏层权重，从而匹配经验依赖关系，确保冻结的投影遵循特征间的依赖关系，同时不牺牲闭式解的可行性。CAWI的具体步骤包括：（i）使用经验CDF将每个特征映射到单位区间；（ii）拟合捕获特征之间基于秩的依赖关系的多元共价分布；（iii）从拟合得到的共价分布中抽取每个权重列w_j，并应用固定的逆边际变换以确定尺度。目标函数、求解器以及“冻结一次”范式保持不变；仅权重W的抽样律变为依赖感知。对于依赖建模，本文考虑两种共价族：椭圆型（Gaussian、t）和阿基米德型（Clayton、Frank、Gumbel），从而使CAWI能够处理包括尾部依赖在内的多样化依赖关系。我们在83个多样化分类基准（二分类和多分类）以及两个生物医学数据集BreaKHis和精神分裂症数据集上评估了CAWI，使用标准的浅层和深层RdNN架构。CAWI在预测性能上 consistently 显著优于传统随机初始化。代码已公开：https://github.com/mtanveer1/CAWI
引用
@article{arxiv.2605.12580,
title = {CAWI: Copula-Aligned Weight Initialization for Randomized Neural Networks},
author = {Mushir Akhtar and M. Tanveer and Mohd. Arshad},
journal= {arXiv preprint arXiv:2605.12580},
year = {2026}
}