MOS 值的置信区间估计量
统计方法学
2018-06-05 v1 人机交互
多媒体
性能
摘要
对于体验质量(QoE)的量化，受试者常在给定评分尺度上提供个体评分，随后被聚合为平均意见得分(MOS)。需要根据观测样本数据估计期望值。样本均值仅提供点估计，而置信区间(CI)是一种区间估计，以给定置信水平包含所求期望值。在主观研究中，执行测试的受试者数量通常较少，尤其在实验室环境中。所用评分尺度有界且常离散，如 5 点 ACR 评分尺度。因此，我们回顾文献中的统计方法在 QoE 领域对 MOS 区间估计（而非仅有作为点估计的 MOS）的适用性。我们提供基于 SOS 假设与二项分布的保守估计量，并将其性能（CI 宽度、违反评分尺度界限的 CI 离群比）与覆盖率同已知 CI 估计量比较。我们表明所提供 CI 估计量在实践中对 MOS 区间估计非常有效，而常用的学生化 CI 存在正离群比，即超出评分尺度界限的 CI。作为替代，自助法（即对主观评分有放回随机采样）是高效的 CI 估计量，通常得到更小 CI，但覆盖率低于所提估计量。
引用
@article{arxiv.1806.01126,
title = {Confidence Interval Estimators for MOS Values},
author = {Tobias Hossfeld and Poul E. Heegaard and Martin Varela and Lea Skorin-Kapov},
journal= {arXiv preprint arXiv:1806.01126},
year = {2018}
}