机器学习论文的引用能否指示其可重复性？——一项案例研究
数字图书馆
2024-05-08 v1 人工智能
机器学习
摘要
机器学习（ML）和人工智能（AI）领域的工作具有迭代性，并且依赖于对比基准数据集，强调该文献中可重复性的重要性。然而，资源限制和不充分的文档可能使得运行复制工作在挑战性。我们探索了使用下游引用上下文作为可重复性信号的潜力。我们引入了一个应用于参与机器学习可重复性挑战中论文的引用上下文的情感分析框架，以解释复制尝试的正面或负面结果。我们的贡献包括为可重复性相关上下文和情感分析训练分类器，以及探讨引用上下文情感与可重复性评分之间的相关性。研究数据、软件以及一个 artifact 附录在https://github.com/lamps-lab/ccair-ai-reproducibility 上公开可用。
引用
@article{arxiv.2405.03977,
title = {Can citations tell us about a paper's reproducibility? A case study of machine learning papers},
author = {Rochana R. Obadage and Sarah M. Rajtmajer and Jian Wu},
journal= {arXiv preprint arXiv:2405.03977},
year = {2024}
}
备注
9 pages, 4 figures