DimGrow：内存高效的字段级嵌入维度搜索
机器学习
2025-05-20 v1
摘要
不同特征字段的嵌入维度需求各不相同：一些需要更大的维度，而一些则需要更小的维度。这要求进行自动化的维度分配。现有方法，如剪枝或神经网络架构搜索（NAS），需要训练内存密集的 SuperNet 来枚举所有可能的维度组合，这在大型特征空间下不可行。我们提出 DimGrow，一种轻量级方法，无需 SuperNet 即可实现。我们从每个特征字段仅一个维度开始训练模型，DimGrow 可通过重要性评分逐步扩展/收缩维度。只有当维度的重要性持续超过阈值时，维度才会增长，从而确保内存效率。在三个推荐数据集上的实验验证了 DimGrow 的有效性，同时较 SuperNet 基于的方法显著降低了训练内存消耗。
引用
@article{arxiv.2505.12683,
title = {DimGrow: Memory-Efficient Field-level Embedding Dimension Search},
author = {Yihong Huang and Chen Chu},
journal= {arXiv preprint arXiv:2505.12683},
year = {2025}
}