Web审查探针列表的自动生成

域名探针列表用于确定进行Web审查测量时要探测的URL集合，其规模和准确性限制了可检测的被审查页面集合；不准确的列表可能导致对审查格局的不完整视图或偏差结果。以往的尝试大多为手动或众包方式，此类方法耗时、易出错，且难以适应不断变化的审查格局。本文探索了自动生成既全面又最新探针列表的方法。我们从包含多种语言页面的初始139,957个唯一URL集合中提取内容（即进行主题和关键词提取），扩展这些主题，并用作搜索引擎的输入，生成覆盖35,147个域名的119,255个新URL。随后，我们通过在十一个不同全球位置分别尝试访问每个URL来测试新的候选页面，持续四个月以检查其可访问性及潜在审查迹象。我们的测量显示，该方法发现了超过1,400个原数据集中不存在的域名，我们怀疑这些域名可能被审查。简而言之，自动更新探针列表是可行的，并且有助于进一步自动化大规模审查测量。