LinkTransformer：基于Transformer语言模型的记录链接统一工具包

跨来源的信息链接是社会科学、商业和政府中各类分析的基础。尽管大语言模型（LLM）为改善噪声数据集中的记录链接带来了巨大前景，但在许多领域中，R和Stata等流行软件中的近似字符串匹配工具包仍占主导地位。这些工具包具有简洁的接口，并可轻松扩展至多种语言。我们的开源工具包LinkTransformer旨在将流行字符串匹配方法的易用性和熟悉感延伸至深度学习。它是一个基于Transformer LLM的通用记录链接工具包，将记录链接视为文本检索问题。其核心是一个开箱即用的工具集，可用四行代码将Transformer模型应用于记录链接。LinkTransformer包含丰富的多语言预训练Transformer语义相似度模型库，并支持轻松集成来自Hugging Face或OpenAI的任何Transformer语言模型。它支持在标准功能如分块及多噪声字段上的链接。LinkTransformer的API还可执行其他常见文本数据处理任务，例如聚合、噪声去重和免翻译跨语言链接。重要的是，LinkTransformer还包含全面的模型高效调优工具，以便在开箱即用模型无法达到所需精度时支持不同层次的定制。最后，为促进可复用性、可复现性和可扩展性，LinkTransformer便于用户向模型中心贡献其自定义训练的模型。通过将Transformer语言模型与许多流行字符串匹配工具包用户所熟悉的直观API相结合，LinkTransformer旨在让那些可能不太熟悉深度学习框架的人也能享受到LLM的益处。