基于彩票假设与知识蒸馏的神经网络剪枝增强推荐系统可扩展性
信息检索
2024-01-22 v1 人工智能
硬件体系结构
摘要
本研究引入了一种旨在高效剪枝神经网络的创新方法，特别关注其在边缘设备上的部署。我们的方法将彩票假设（LTH）与知识蒸馏（KD）框架相结合，构建了三种不同的剪枝模型。这些模型旨在解决推荐系统中的可扩展性问题，其中深度学习模型的复杂性阻碍了其实际部署。通过审慎应用剪枝技术，我们在不牺牲精度的前提下，有效降低了功耗并缩减了模型尺寸。使用来自不同领域的两个真实世界数据集对两个基线进行了实证评估。令人欣慰的是，我们的方法使 GPU 计算功耗降低了高达 66.67%。值得注意的是，本研究通过开创性地应用 LTH 和 KD，为推荐系统领域做出了贡献。
引用
@article{arxiv.2401.10484,
title = {Enhancing Scalability in Recommender Systems through Lottery Ticket Hypothesis and Knowledge Distillation-based Neural Network Pruning},
author = {Rajaram R and Manoj Bharadhwaj and Vasan VS and Nargis Pervin},
journal= {arXiv preprint arXiv:2401.10484},
year = {2024}
}
备注
Accepted in WITS 2023 as a workshop paper