绿色推荐系统：针对能源效率优化算法性能的数据集大小
信息检索
2024-11-06 v2 人工智能
摘要
随着推荐系统的日益普及，环境影响和训练大规模模型的能源效率正受到广泛关注。本文探讨了通过优化数据集大小（通过下采样技术）在绿色推荐系统背景下实现能源效率算法性能的潜力。我们对MovieLens 100K、1M、10M和Amazon玩具和游戏数据集进行了实验，分析了在不同数据集大小下，各种推荐算法的性能。我们的结果表明，虽然更多的训练数据通常会导致更高的算法性能，但某些算法（如FunkSVD和BiasedMF），特别是针对Amazon玩具和游戏等不平衡且稀疏的数据集，能够在训练数据减少最高50%的情况下，保持高质量的推荐，实现nDCG@10分数接近完整数据集性能的约13%。这些发现表明，战略性的数据集减少可以在不显著牺牲推荐质量的情况下，降低计算和环境成本。该研究为构建可持续和绿色的推荐系统提供了洞见，以在保持有效性的同时减少能源消耗。
引用
@article{arxiv.2410.09359,
title = {Green Recommender Systems: Optimizing Dataset Size for Energy-Efficient Algorithm Performance},
author = {Ardalan Arabzadeh and Tobias Vente and Joeran Beel},
journal= {arXiv preprint arXiv:2410.09359},
year = {2024}
}