用于在线学习类别型特征的概率哈希嵌入
机器学习
2025-12-02 v2 机器学习
摘要
我们研究具有类别型特征的流数据，其中类别特征值的词汇表随时间变化，甚至可能无限增长。特征哈希通常被用作预处理步骤，在学习嵌入之前将这些类别值映射到固定大小的特征空间。虽然这些方法已针对离线或批量设置进行了开发和评估，但在本文中我们考虑在线设置。我们表明，确定性嵌入对类别的到达顺序敏感，并在在线学习中遭受遗忘问题，导致性能下降。为了缓解这个问题，我们提出了一种概率哈希嵌入 (PHE) 模型，该模型将哈希嵌入视为随机的，并应用贝叶斯在线学习从数据中增量学习。基于 PHE 的结构，我们推导出一种可扩展的推理算法来学习模型参数，并推断/更新哈希嵌入和其他潜在变量的后验分布。我们的算法 (i) 可以处理不断演变的类别项词汇表，(ii) 能够适应新项而不遗忘旧项，(iii) 可以用一组有界的参数实现，该参数集不会随流中观察到的不同值的数量而增长，并且 (iv) 对项到达顺序具有不变性。在在线学习设置下的分类、序列建模和推荐系统实验表明，PHE 在保持高内存效率（内存消耗低至独热嵌入表的 2~4 倍）的同时，具有优越的性能。补充材料见 https://github.com/aodongli/probabilistic-hash-embeddings。
引用
@article{arxiv.2511.20893,
title = {Probabilistic Hash Embeddings for Online Learning of Categorical Features},
author = {Aodong Li and Abishek Sankararaman and Balakrishnan Narayanaswamy},
journal= {arXiv preprint arXiv:2511.20893},
year = {2025}
}
备注
AAAI 2026 Oral