应对用户反馈中的不确定性：介于否认与接受之间的策略
人机交互
2018-02-19 v1 信息检索
摘要
最新研究揭示了用户反馈中存在显著可靠性缺失，并讨论了其对自适应网络系统与内容个性化方法评估的显著影响，例如排序错误、对准确率度量的系统性偏差及其自然偏移（magic barrier，魔法屏障）。为进行整体评估并改进网络系统，已提出多种策略来处理这种所谓的人类不确定性。在本文中，我们讨论处理不确定反馈的最相关策略，并证明这些方法或多或少难以达成其目标。为此，我们在纯概率框架下考量人类不确定性，并利用假设检验以及 magic barrier 的推广来比较近期提出算法的影响。在此基础上，我们推荐一种接受的新策略，其脱离单纯的过滤，并讨论其对万维网（WWW）社区潜在的好处。
引用
@article{arxiv.1802.05895,
title = {Dealing with Uncertainties in User Feedback: Strategies Between Denying and Accepting},
author = {Kevin Jasberg and Sergej Sizov},
journal= {arXiv preprint arXiv:1802.05895},
year = {2018}
}
备注
Human Uncertainty, Noise, Magic Barrier, Ranking Error, User Feedback