成对比较实验分析与软件实用指南
应用统计
2017-12-18 v2 计算机视觉与模式识别
图形学
摘要
捕获人类主观判断的最流行策略涉及构建一维相对测量尺度,表示对一组对象或条件的顺序偏好或判断。该信息通常通过直接评分获取,形式为李克特(Likert)或基数尺度,或通过成对或成组的比较判断。就此意义而言,成对比较因实验过程简单而日益流行。然而,该策略需要非平凡的数据分析,以将比较排序聚合成质量尺度并分析结果,从而充分利用所收集的数据。本文解释了将成对比较数据转化为测量尺度的过程,讨论了此类尺度方法的优点与局限,并介绍了一款公开可用的 Matlab 软件。我们通过引入离群值分析、提供计算置信区间与统计检验的方法以及引入先验来改进现有尺度方法,后者在观察者数量较少时降低估计误差。我们的大多数示例聚焦于图像质量评估。
引用
@article{arxiv.1712.03686,
title = {A practical guide and software for analysing pairwise comparison experiments},
author = {Maria Perez-Ortiz and Rafal K. Mantiuk},
journal= {arXiv preprint arXiv:1712.03686},
year = {2017}
}
备注
Code available at https://github.com/mantiuk/pwcmp