对 Ames-USDOE-FBI 研究中重复性与再现性的再分析

法医枪械识别由训练有素的枪械检验员判定子弹或弹壳是否来自同一武器,长期以来一直是刑事法庭的中坚手段。法医枪械识别的可靠性在科学界受到质疑,作为回应,已开展若干研究旨在表明枪械检验是准确的,即误差率低。一致性问题则研究较少,即同一子弹或弹壳的两次检验是否得出相同结论,由同一检验员在不同场合进行——检验员内可靠性或重复性——或由两名检验员进行——检验员间可靠性或再现性。一项重要研究由 Ames 实验室-USDOE 于 2020 年提交给联邦调查局(FBI)的报告中描述,其超越准确性考量,调查了枪械检验的重复性与再现性。该报告结论自相矛盾。检验员与自身或与其他检验员的一致程度看似平庸。然而,研究基于观测一致度超过称为期望一致度的量,得出结论认为重复性与再现性令人满意。我们发现,按预期恰当使用期望一致度并不表明重复性与再现性令人满意,而是相反。