论坛讨论中的评论排序多样化
计算机与社会
2020-03-02 v1 计算与语言
摘要
在包含数百条及以上评论的讨论论坛中，用户大多仅浏览排名靠前的评论，因此浏览体验依赖于排序。当评论依据有序分数（如回复数或点赞数）排序而未对邻近排名评论的语义相似性进行调整时，排名靠前的评论更可能强调多数意见并造成冗余。本文提出一种基于最大边际相关（Maximal Marginal Relevance, MMR）的 Top K 评论多样化重排序模型，并在哈佛X课程讨论论坛的背景下，从三个维度评估其影响：（1）语义多样性，（2）对低排名评论语义的涵盖度，以及（3）冗余度。我们开展了一项双盲小规模评估实验，要求受试者在多样化排序与按分数排序的基线排序的 Top 5 评论间进行选择。对于三名受试者，在 100 次试验中，受试者认为多样化（75% 分数、25% 多样化）排序在（1）更多样、（2）更包容、（3）更少冗余方面显著更优。在各维度内，评分者间信度显示中等一致性，典型的 Cohen-Kappa 分数接近 0.2。我们的结果表明，该模型改善了在线讨论论坛中 Top K 排名评论的（1）多样化、（2）涵盖度与（3）冗余度。
引用
@article{arxiv.2002.12457,
title = {Comment Ranking Diversification in Forum Discussions},
author = {Curtis G. Northcutt and Kimberly A. Leon and Naichun Chen},
journal= {arXiv preprint arXiv:2002.12457},
year = {2020}
}
备注
5 pages, 7 figures, published in Learning @ Scale, 2017