通过自适应掩码孪生层学习有效且高效的嵌入
机器学习
2021-08-27 v1 人工智能
摘要
类别特征的嵌入学习对于基于深度学习的推荐模型（DLRM）至关重要。每个特征值通过嵌入学习过程被映射为一个嵌入向量。传统方法为来自同一特征域的所有特征值配置固定且统一的嵌入大小。然而，这种配置不仅对嵌入学习是次优的，而且内存开销高昂。试图解决这些问题的现有方法，无论是基于规则的还是基于神经架构搜索（NAS）的，都需要在人工设计或网络训练上投入大量精力。它们在嵌入大小选择或基于热启动的应用中也不够灵活。在本文中，我们提出了一种新颖且有效的嵌入大小选择方案。具体而言，我们在标准嵌入层之后设计了一个自适应掩码孪生层（AMTL）。AMTL 生成一个掩码向量来掩蔽每个嵌入向量中不需要的维度。该掩码向量在选择维度上带来了灵活性，并且所提出的层可以轻松添加到未经训练或已训练的 DLRM 中。广泛的实验评估表明，所提出的方案在所有基准任务上均优于有竞争力的基线，并且内存效率高，在不影响任何性能指标的情况下节省了 60% 的内存使用量。
引用
@article{arxiv.2108.11513,
title = {Learning Effective and Efficient Embedding via an Adaptively-Masked Twins-based Layer},
author = {Bencheng Yan and Pengjie Wang and Kai Zhang and Wei Lin and Kuang-Chih Lee and Jian Xu and Bo Zheng},
journal= {arXiv preprint arXiv:2108.11513},
year = {2021}
}
备注
CIKM 2021, 5 pages; The first two authors contributed equally to this work