用于特征排序的参数平均方法

众所周知，神经网络对初始化敏感。依赖于神经网络进行特征排序的方法并不鲁棒，因为在不同随机种子下初始化和训练模型时，其排序可能产生变化。本文中，我们提出一种基于参数平均的新方法来估计表格数据场景下准确且鲁棒的特征重要性，称为 XTab。我们首先为下游任务以“不同随机种子”初始化并训练多个浅层网络实例（称为局部掩码）。然后我们通过“平均局部掩码的参数”得到一个全局掩码模型。我们表明，尽管参数平均可能导致一个具有更高损失的全局模型，它仍比单个模型更一致地揭示出真实特征重要性。我们在多种合成与真实世界数据上进行了大量实验，证明 XTab 可用于获得对次优模型初始化不敏感的全局特征重要性。