中文

基于Nishimori温度的噪声驱动特征选择:噪声基谱嵌入

机器学习 2026-04-28 v1

摘要

我们提出了噪声基谱嵌入 (Noise-Based Spectral Embedding, NBSE),这是一种无需贪婪搜索即可从高维数据中选择信息丰富特征的物理学启发框架。NBSE 在样本上构建稀疏相似图,并识别Nishimori温度 βN\beta_N——即Bethe Hessian奇异的临界反温度。对应的最小特征向量捕捉内在度校正扩散过程的主导模式,自然对节点进行重新加权以防止中心主导。通过转置数据矩阵并在特征空间中应用NBSE,可获得揭示冗余或语义相关维度组的一维谱嵌入;随后进行均衡分箱,每组选取一个代表性特征。我们证明,彩色高斯扰动将βN\beta_N偏移最多为 O(σˉ2)O(\bar\sigma^2),保证对测量噪声的鲁棒性。在ImageNet嵌入(来自MobileNetV2和EfficientNet-B4)上的实验表明,NBSE即使在仅保留30%特征的情况下,仍能保持分类准确率,EfficientNet-B4上的准确率下降小于1%,相较于ANOVA F检验和随机选择,性能提升最高可达6.8%。

关键词

引用

@article{arxiv.2604.24692,
  title  = {Diffusion-Guided Feature Selection via Nishimori Temperature: Noise-Based Spectral Embedding},
  author = {Vasiliy S. Usatyuk and Denis A. Sapozhnikov and Sergey I. Egorov},
  journal= {arXiv preprint arXiv:2604.24692},
  year   = {2026}
}

备注

8 pages, 3 figures, extended version (with noise shift proof) of DSPA2026 article