LOO 与 WAIC 作为多类别题目的模型选择方法

Watanabe-Akaike 信息准则（WAIC；Watanabe，2010）与留一交叉验证（LOO）是两种完全贝叶斯模型选择方法，已在二值 IRT 模型选择中表现出优于 AIC、BIC、DIC 等其他传统基于信息准则的模型选择方法的性能。在本文中，我们研究了 WAIC 与 LOO 的此种优越性能能否推广至多类别 IRT 模型选择的场景。具体而言，我们开展了一项模拟研究，比较 WAIC 与 LOO 同 AIC、BIC、AICc、SABIC 和 DIC 在一组多类别 IRT 模型中选择最优模型的统计功效率。我们还使用了一个真实数据集来展示 LOO 与 WAIC 在多类别 IRT 模型选择中的使用。研究结果表明，尽管全部七种方法均具有识别真实多类别 IRT 模型的优异统计功效（大于 0.93），WAIC 与 LOO 的统计功效似乎略低于 DIC，而 DIC 的性能又仅 marginally 劣于其余四种频率学方法。关键词：多类别 IRT，贝叶斯，MCMC，模型比较。