数据策略研究中经验证据的聚合：关于模型量化的一个案例

背景：随着经验软件工程的发展，越来越多的研究采用数据策略——即研究数字制品（如模型、源代码或系统日志）的研究方法，而不依赖于人类主体。合成此类研究的结果引入了新的方法论挑战。目标：本研究评估了模型量化对深度学习（DL）系统正确性和资源效率的影响。此外，它探讨了聚合采用数据策略的经验研究证据的方法论含义。方法：我们对六个原始研究进行了研究综合，这些研究经验性地评估了模型量化。我们应用结构化综合方法（SSM）来聚合发现，该方法通过diagrammatic建模结合定性和定量证据。提取并聚合了19个证据模型。结果：聚合后的证据表明，模型量化在正确性指标上轻微负面影响，但始终改善资源效率指标，包括存储大小、推理延迟和GPU能源消耗——对于许多DL部署情境来说，这是一个可接受的权衡。量化技术之间的证据仍然碎片化，突显了需要针对每种技术进行更有针对性的经验研究的必要性。结论：模型量化在正确性方面具有次要的权衡，同时提供了显著的效率优势，使其成为资源受限环境的合适优化策略。这项研究还演示了使用SSM来综合来自数据策略性研究的发现的可行性。