基于自适应交叉Hadamard乘积的表达力强且高效的特征扩展

近期的理论进展表明，Hadamard乘积为深度学习领域引入了非线性表示和隐式高维映射，但其在资源受限视觉模型中的实际部署仍很大程度上未被探索。为了填补这一空白，我们引入了自适应交叉Hadamard（ACH）模块，这是一种通过可微分离散采样和动态softsign归一化嵌入可学习性的新型算子。这促进了高效的特征重用，且不会引入额外的卷积参数，同时确保了稳定的梯度流。通过神经架构搜索集成到Hadaptive-Net（Hadamard自适应网络）中，我们的方法实现了前所未有的效率。综合实验表明，在图像分类任务上实现了SOTA的精度/速度权衡，确立了Hadamard操作作为高效视觉模型特定构建块的地位。