UA-Radar：探究用户代理对万维网的影响
密码学与安全
2023-11-20 v1
摘要
在万维网早期，向不同浏览器提供同一网页可能会产生截然不同的结果。由于各浏览器背后的渲染引擎不同，页面中的某些元素可能会失效或定位错误。当时，用户代理（User Agent, UA）字符串被引入用于内容协商。通过获知连接服务器的浏览器，开发者可以提供针对该特定浏览器定制的网页，以消除任何可用性问题。过去三十年来，浏览器始终暴露 UA 字符串，但其当前的实用性正受到质疑。如今浏览器采用完全相同的标准并使用相同的语言向用户展示相同内容，这引发了一个问题：UA 字符串的内容在今天是否仍有意义，抑或只是过去的遗物。此外，浏览万维网的方式日益多样，UA 字符串已成为浏览器指纹识别领域追踪用户的主要因素之一，迫切要求其被弃用。本文旨在理解 UA 对万维网的影响，以及这一遗留字符串是否仍被积极用于适配提供给用户的内容。我们提出 UA-Radar，一种网页相似性度量工具，从代码到实际渲染深入比较两个网页，并高亮其所发现的相似性。我们使用 3 种不同浏览器和 2 种不同 UA 字符串爬取了来自 11,252 个域名的 270,048 个网页，观察到 100% 的网页在执行任何 JavaScript 之前均相似，表明不存在差异化投放。我们的实验还显示，仅有极少数网站受缺少 UA 信息影响，且在大多数情况下可通过更新代码以做到与浏览器无关来修复。我们的研究提供了一些证据，表明或许是时候翻过 UA 字符串这一页，将其从现行网页浏览器中淘汰。
引用
@article{arxiv.2311.10420,
title = {UA-Radar: Exploring the Impact of User Agents on the Web},
author = {Jean Luc Intumwayase and Imane Fouad and Pierre Laperdrix and Romain Rouvoy},
journal= {arXiv preprint arXiv:2311.10420},
year = {2023}
}
备注
ACM CCS 2023, Nov 2023, Copenhagen, Denmark