Elliot：一个全面且严谨的可复现推荐系统评估框架
信息检索
2021-07-30 v2
摘要
推荐系统已被证明是缓解选择过载问题并提供准确且定制化推荐的有效途径。然而，大量被提出的推荐算法、划分策略、评估协议、指标与任务，使得严谨的实验评估尤为困难。出于对持续重建恰当的评估基准、实验流水线、超参数优化与评估流程的困惑与挫败，我们开发了一个详尽的框架以满足此类需求。Elliot 是一个全面的推荐框架，旨在通过处理一个简单的配置文件来运行并复现整个实验流水线。该框架加载、过滤并划分数据，考虑了大量策略（13 种划分方法与 8 种过滤方法，从时间训练-测试划分到嵌套 K 折交叉验证）。Elliot 为多种推荐算法（50 种）优化超参数（51 种策略），选择最佳模型，将其与基线进行比较并提供模型内统计，计算从准确性到超越准确性、偏差与公平性的指标（36 种），并进行统计分析（Wilcoxon 与配对 t 检验）。其目标是为研究人员提供一个工具，以简化（并使其可复现）从数据读取到结果收集的所有实验评估阶段。Elliot 可在 GitHub 上获取（https://github.com/sisinflab/elliot）。
引用
@article{arxiv.2103.02590,
title = {Elliot: a Comprehensive and Rigorous Framework for Reproducible Recommender Systems Evaluation},
author = {Vito Walter Anelli and Alejandro Bellogín and Antonio Ferrara and Daniele Malitesta and Felice Antonio Merra and Claudio Pomo and Francesco Maria Donini and Tommaso Di Noia},
journal= {arXiv preprint arXiv:2103.02590},
year = {2021}
}
备注
Published at SIGIR 2021, 10 pages, 1 figure