体验质量调查中问题标记问卷的设计
统计方法学
2018-09-25 v1 机器学习
机器学习
摘要
用于体验质量（QoE）的用户调查是关键的信息来源。除了用于估计平均意见得分（MOS）的常用“星级评分”外，关于具体方面的更详细调查问题（问题标记）为影响 QoE 的因素提供了宝贵见解。本文探讨问题标记问卷设计的两个方面。首先，我们研究固定问题顺序引入的偏差；其次，我们研究选择问题子集以保持标记集规模较小的挑战。基于从实时系统中通过随机对照实验收集的 900,000 通呼叫，我们发现通过随机化标记显示顺序可显著减少顺序偏差。响应率的差异取决于标记位置和显示设计。值得注意的是，用户对随机顺序变体的响应水平与固定顺序变体相当。通过提取相对于用户评分提供最高信息增益的标记，实现了对问题子集的有效选择。已知该选择属于 NP 难问题类。我们在数据集上应用一种著名的贪心子模最大化方法，仅使用 30% 的问题即可捕获 94% 的信息。
引用
@article{arxiv.1808.06152,
title = {On Design of Problem Token Questions in Quality of Experience Surveys},
author = {Jayant Gupchup and Ebrahim Beyrami and Martin Ellis and Yasaman Hosseinkashi and Sam Johnson and Ross Cutler},
journal= {arXiv preprint arXiv:1808.06152},
year = {2018}
}