自编码器推荐系统中潜在激活的理论指导选择
机器学习
2024-11-08 v1
摘要
自编码器可以通过将稀疏高维数据蒸馏为密集的低维潜在表示，为设计更准确且计算效率更高的推荐系统提供可能。然而，由于缺乏理论指导，设计这些系统仍然具有挑战性。本工作通过识别编码器应具备的三个关键数学性质来解决这一问题，以提升推荐准确性：(1) 降维，(2) 点积比较中相似性排序的保持，(3) 非零向量的保持。通过理论分析，我们证明常见的激活函数（如ReLU和tanh）无法在可泛化的框架内联合满足这些性质。相比之下，Sigmoid类激活函数作为潜在激活的合适选择脱颖而出。这种理论指导的方法为超参数选择提供了更系统的方法，提升了模型设计的效率。
引用
@article{arxiv.2411.04315,
title = {Theoretically informed selection of latent activation in autoencoder based recommender systems},
author = {Aviad Susman},
journal= {arXiv preprint arXiv:2411.04315},
year = {2024}
}
备注
2 pages, 1 figure