DRIFT：通过信息性特征变换实现数据精简——泛化始于深度学习之前

现代深度学习架构擅长优化，但这仅在数据进入网络之后才成立。真正的瓶颈在于准备正确的输入：最小化、显著且以反映数据本质模式的方式结构化。我们提出DRIFT（Data Reduction via Informative Feature Transformation），这是一种新颖的预处理技术，受物理系统中振动分析的启发，在训练前识别并提取输入数据中最具共振性的模态。与试图在信号和噪声中同时学习的传统模型不同，DRIFT通过强调信息性特征并丢弃无关元素来模仿物理感知。其结果是得到更紧凑且可解释的表示，从而提升训练稳定性和泛化性能。在DRIFT中，图像被投影到由板的空间振动模态形状形成的低维基上，从而提供物理上有依据的特征集。这使得神经网络能够以极少的输入维度（MNIST上约50个特征，CIFAR100上少于100个）运行，同时实现具有竞争力的分类准确率。在MNIST和CIFAR100上的大量实验表明，DRIFT在训练稳定性、抗过拟合能力和泛化鲁棒性方面优于标准的基于像素的模型和PCA。值得注意的是，DRIFT对批量大小、网络架构和图像分辨率的变化表现出极低的敏感性，进一步确立了其作为一种稳健且高效的数据表示策略的地位。这项工作将焦点从架构工程转向输入策展，并强调了物理驱动的数据变换在提升深度学习性能方面的力量。