高维搜索，低维解：将优化从表示中解耦
机器学习
2026-02-03 v2 人工智能
摘要
当前最先进的模型虽然具有低内在维数 (ID)，却依赖巨大的宽度。这一冗余性可能服务于非凸优化搜索，而非最终表示。我们通过数据无关的随机投影来解耦解的几何结构，验证了这一假设，表明 ResNet、ViT 和 BERT 的表示可最高压缩 16 倍，性能下降约为 1%。这些无感知投影与 PCA 和学习基线持平，确认了解的本征流形是稳健的。这为子空间原生蒸馏奠定了基础：一种直接针对这一内在流形的学生模型范式，绕过高维优化瓶颈，实现“大规模训练，小规模部署”的愿景。
引用
@article{arxiv.2512.23410,
title = {High-Dimensional Search, Low-Dimensional Solution: Decoupling Optimization from Representation},
author = {Yusuf Kalyoncuoglu and Ratmir Miftachov},
journal= {arXiv preprint arXiv:2512.23410},
year = {2026}
}
备注
Code available at https://github.com/yuskal/Directly-Constructing-Low-Dimensional-Solution-Subspaces-in-Deep-Neural-Networks