层级导数受控网络
机器学习
2026-05-18 v1
摘要
随着机器学习模型复杂性的增加，它们越来越难以满足三个相互冲突的需求：需要高精度、要求硬件效率以及需要功能稳定性。传统架构往往以牺牲尖锐或不可预测的行为为代价，小的输入变化会导致巨大的输出波动——这在需要高度稳健性的实际部署环境中是关键缺陷。本文引入了 ChainzRule (CR)，一种新型神经网络架构，旨在和谐这些竞争目标。ChainzRule 用由 DREG 控制的多项式发动机取代标准分段线性激活函数。与传统方法对模型 Lipschitz 常数施加全局、粗粒度约束不同，DREG 是对中间导数进行针对性正则化。这一方法在不削弱多项式发动机固有的表示能力的前提下，抑制了极端灵敏性。在 head-to-head "Fair Fight" 基准测试中，ChainzRule 在使用 15.5x 更少参数的情况下超越了标准模型。 在 MNIST 数据集上，它将峰值梯度波动性降低平均 23.1%，确保更平滑、更可预测的流形。在 Yelp Full 序数回归测试中，ChainzRule 在明确 DREG 正则化下实现 70.17% 的准确率，验证了导数感知正则化与在真实任务上实现竞争性能的兼容性。通过 DREG 将梯度感知嵌入架构，ChainzRule 表明稳定性和准确性不必是相互竞争的目标。
引用
@article{arxiv.2605.15463,
title = {Layer-wise Derivative Controlled Networks},
author = {Rowan Martnishn and Sean Anderson},
journal= {arXiv preprint arXiv:2605.15463},
year = {2026}
}
备注
Under Review at Neural Network Elsevier