新闻再现：语义搜索连接过去与现在
计算与语言
2024-12-23 v2 综合经济学
经济学
摘要
社会科学家和公众通常通过与过去建立类比来分析当下事件，这一过程受到大规模、嘈杂且非结构化历史文本的制约。例如，数亿篇历史报纸的页面扫描被噪声地转录。传统的稀疏方法（如关键词搜索）在面对复杂词汇和 OCR 噪声时可能不够稳健。本研究引入 News Deja Vu，一种新型语义搜索工具，利用 transformer 大型语言模型和双编码器方法识别与现代查询在语义上最相似的历史新闻文章。News Deja Vu 首先识别并遮蔽实体，以聚焦于更广泛的类比而非具体讨论的特定命名实体。随后，一个对比学习训练的轻量级双编码器检索与现代查询在语义上最相似的历史文章，展示了看似当下独特的现象如何在历史上具有各种先例。针对社会科学家，面向用户的 News Deja Vu 软件包设计为无需深入了解深度学习即可访问，能够处理大规模文本数据集，并演示其可部署到大规模历史开源新闻文章语料库。尽管人类专业知识在深入洞察方面仍然重要，News Deja Vu 提供了一个强大的工具，用于探索人们如何 perceive 过去与现在。
关键词
引用
@article{arxiv.2406.15593,
title = {News Deja Vu: Connecting Past and Present with Semantic Search},
author = {Brevin Franklin and Emily Silcock and Abhishek Arora and Tom Bryan and Melissa Dell},
journal= {arXiv preprint arXiv:2406.15593},
year = {2024}
}