基于项目反应理论的算法组合分析 R 模块
机器学习
2025-09-04 v2
摘要
实验评估是 AI 研究中关键环节，尤其是用于评估在多样任务上的算法表现。许多研究仅评估有限的算法集合，无法全面理解其在组合中的优势与弱点。本文引入一种基于项目反应理论 (IRT) 的分析工具，用于算法组合评估，称为 AIRT-Module。该工具传统上用于教育心理学，通过对测试问题的响应来建模问题难度和学生能力。将 IRT 应用于算法评估，AIRT-Module 包含一个 Shiny Web 应用程序和 R 包 airt。AIRT-Module 使用算法性能指标计算异常值、一致性和难度限制，用于描述算法和测试实例的难度。通过测试实例的难度谱图可视化算法的优势与弱点。AIRT-Module 提供对算法在各异测试实例上能力的详细理解，从而增强对 AI 方法综合评估的理解。该工具可在 https://sevvandi.shinyapps.io/AIRT/ 上获得。
引用
@article{arxiv.2408.14025,
title = {An Item Response Theory-based R Module for Algorithm Portfolio Analysis},
author = {Brodie Oldfield and Sevvandi Kandanaarachchi and Ziqi Xu and Mario Andrés Muñoz},
journal= {arXiv preprint arXiv:2408.14025},
year = {2025}
}
备注
10 Pages, 6 Figures. Submitted to SoftwareX