SAUCE：用于快速网页级语料扩展的截断稀疏文档签名位向量
计算与语言
2021-08-27 v1 信息检索
摘要
文本表示的最新进展表明，在大量文本上训练对于自然语言理解至关重要。然而，在没有预定义主题兴趣的情况下训练的模型在迁移到专门领域时通常需要细致的微调。当领域内文本可能不足时，从大规模网络数据扩展相关文档的种子语料面临若干挑战。首先，语料扩展需要对集合中每个文档进行打分与排序，随着网络语料规模增长，该操作很快变得计算昂贵。依赖稠密向量空间与成对相似度进一步增加了计算开销。其次，随着领域概念变得更加细微，捕获领域特定罕见术语的长尾变得不平凡，尤其在种子语料有限的场景下。本文考虑在给定少量相关文档作为查询的小型种子语料下快速近似语料扩展的问题，目标是捕获领域特定概念术语集合的长尾。为在有限相关性反馈下高效收集大规模领域特定语料，我们提出了一种新颖的截断稀疏文档位向量表示，称为签名辅助无监督语料扩展（SAUCE）。实验结果表明，SAUCE能够在确保高领域内词汇覆盖的同时降低计算负担。
引用
@article{arxiv.2108.11948,
title = {SAUCE: Truncated Sparse Document Signature Bit-Vectors for Fast Web-Scale Corpus Expansion},
author = {Muntasir Wahed and Daniel Gruhl and Alfredo Alba and Anna Lisa Gentile and Petar Ristoski and Chad Deluca and Steve Welch and Ismini Lourentzou},
journal= {arXiv preprint arXiv:2108.11948},
year = {2021}
}
备注
Accepted to CIKM'21 Applied Research Track