探索用于加速神经网络训练的预配置隐空间向量系统
机器学习
2025-12-11 v2 人工智能
计算机视觉与模式识别
摘要
神经网络的整体性能与其隐空间中嵌入分布的性质密切相关。最近的研究表明，预定义的向量系统，特别是 An 根系统向量，可以用作隐空间配置（LSC）的目标，以确保所需的隐空间结构。LSC 的主要优势之一是可以训练不带分类层的分类神经网络，这有助于在类别数量极大的数据集上训练神经网络。本文对可用于神经网络训练的可能向量系统及其性质和向量系统构建方法进行了更全面的概述。这些系统用于配置编码器和视觉 Transformer 的隐空间，以显著加速 ImageNet-1K 和 50k-600k 类别的 LSC 训练。此外，还表明使用特定类别数量所需的最小隐空间维度可以加快收敛。后者在减少用于存储神经网络嵌入的向量数据库规模方面具有潜在优势。
引用
@article{arxiv.2512.07509,
title = {Exploring possible vector systems for faster training of neural networks with preconfigured latent spaces},
author = {Nikita Gabdullin},
journal= {arXiv preprint arXiv:2512.07509},
year = {2025}
}
备注
9 pages, 5 figures, 1 table, 4 equations