代理、书签与点击：Web 流量的主题模型

对聚合和个体 Web 流量的分析表明，PageRank 是描述人们如何浏览 Web 的一个糟糕模型。利用一千名用户生成的经验流量模式，我们刻画了马尔可夫模型无法重现的 Web 流量的若干属性。我们考察了捕获集体行为的聚合统计量（如页面和链接流量）以及个体统计量（如熵和会话大小）。目前没有模型能同时解释所有这些经验观测结果。我们表明，所有这些流量模式都可以通过一个考虑了多种现实浏览行为的基于代理的模型来解释。首先，代理维护个人的书签列表（一种非马尔可夫记忆机制），用作跳转目标。其次，代理可以沿已访问的链接回退，这种分支机制也使我们能够重现诸如使用后退按钮和标签页浏览等行为。最后，代理通过访问具有主题兴趣的新页面来维持浏览，相邻页面之间的主题相关性高于相距较远的页面。这调节了代理继续浏览或开始新会话的概率，使我们能够重现异质性的会话长度。由此产生的模型能够重现我们在经验数据中观察到的集体和个体行为，将个体用户狭窄聚焦的浏览模式与聚合流量测量的极端异质性相协调。这一结果使我们能够识别出解释我们数据中观察到的浏览模式所必需且充分的几个显著特征。除了此类模型的描述和解释能力外，我们的结果还可能为更复杂、更现实、更有效的排名和爬取算法铺平道路。