清理混乱：重新评估 Ramulator 2.0 的真实系统建模精度
摘要
MICRO 2024 最佳论文得主（Mess 论文）获得了所有三项 artifact 勋章（包括“可复现”），提出了评估真实与仿真内存系统性能的新基准。该论文主张 Ramulator 2.0 和 DAMOV（ZSim+Ramulator）（以及其他现有内存系统模拟器）“poorly resemble the actual system performance”，并声称其模拟器更好。在本文中，我们表明 Mess 论文存在 1) 可明确证实的技术配置错误，2) 在解释仿真统计数据方面的方法论错误，3) 使其关键结果不可复现的不完整 artifact。我们证明，Mess 论文报告的 Ramulator 2.0 仿真结果因多个配置错误而不正确，而非所谓的仿真不准。我们表明，通过正确配置 Ramulator 2.0，其仿真结果实际上良好地再现了真实系统特征，因此 Mess 论文的关键贡献事实上是错误的。我们还指出，Mess 论文中报告的 DAMOV 仿真结果使用与仿真 DRAM 性能无关的错误统计数据。我们表明，DAMOV 的仿真 DRAM 延迟并非恒定，与 Mess 论文的论断相矛盾。此外，Mess 论文的 artifact 仓库缺少复现 Mess 论文所有结果所必需的源码。我们发现实验脚本使用的模拟器可执行文件和其他资源既未在 Mess 论文中描述，也未在 artifact 仓库中找到。我们强烈鼓励计算机体系结构社区考虑我们对 Mess 论文 Ramulator 2.0 和 DAMOV 结果的纠正，以防止不准确和误导性结果的传播，并维护科学记录的可靠性。
引用
@article{arxiv.2510.15744,
title = {Cleaning up the Mess: Re-Evaluating the Real-System Modeling Accuracy of Ramulator 2.0},
author = {F. Nisa Bostanci and Haocong Luo and Ataberk Olgun and Maria Makeenkova and Geraldo F. Oliveira and A. Giray Yaglikci and Onur Mutlu},
journal= {arXiv preprint arXiv:2510.15744},
year = {2026}
}
备注
Extended version of our publication at IEEE International Symposium on Performance Analysis of Systems and Software (ISPASS) 2026