iHAS：面向深度学习推荐模型的实例级分层架构搜索
信息检索
2023-09-18 v1
摘要
当前的推荐系统对所有特征采用统一维度的大型嵌入表，导致过拟合、高计算成本以及次优的泛化性能。许多技术旨在通过特征选择或嵌入维度搜索解决此问题。然而，这些技术通常为所有实例选择固定的特征子集或嵌入维度，并将所有实例输入单一推荐模型，而未考虑物品或用户间的异质性。本文提出一种新颖的实例级分层架构搜索框架 iHAS，其在实例层面自动化神经架构搜索。具体而言，iHAS 包含三个阶段：搜索、聚类与重训练。搜索阶段通过精心设计的带随机选择与正则化的伯努利门，识别不同字段特征下的最优实例级嵌入维度。获得这些维度后，聚类阶段通过伯努利门的确定性选择方法将样本划分为不同组。重训练阶段随后构建不同的推荐模型，每个模型均按对应组的最优维度设计。我们在来自真实推荐系统的两个公开基准数据集上进行了广泛实验以评估所提出的 iHAS。实验结果证明了 iHAS 的有效性及其对广泛使用的深度推荐模型的出色可迁移性。
引用
@article{arxiv.2309.07967,
title = {iHAS: Instance-wise Hierarchical Architecture Search for Deep Learning Recommendation Models},
author = {Yakun Yu and Shi-ang Qi and Jiuding Yang and Liyao Jiang and Di Niu},
journal= {arXiv preprint arXiv:2309.07967},
year = {2023}
}
备注
Accepted as CIKM23 Long paper