JUA——巴西法律文本集合信息检索基准
信息检索
2026-04-21 v2
摘要
葡萄牙语的法律信息检索评估仍然困难，因为可用数据集在文件类型、查询风格和相关性定义方面差异很大。我们提出JUA，一个为巴西法律检索设计的公共基准，旨在支持更可重复且可比较的评估，跨越异构法律集合。更广泛地说，JUA不仅是一个基准，更是一个持续的巴西法律信息检索评估基础设施，融合了共享协议、通用排序指标、固定划分（如适用）以及公开排行榜。该基准涵盖司法文书检索以及更广泛的立法、监管和问答式法律搜索。我们评估了词法、稠密和BM25-based reranking管道，包括在JUA对齐监督数据上微调的领域适应型Qwen嵌入模型。结果表明，该基准足够异构，以区分检索范式并揭示跨数据集的显著权衡。领域适应在与JUA-Juris监督对齐的子集上获得了最明显的提升，而BM25在其他集合上尤其在强语言和制度措辞线索的设置下仍然高度具竞争力。总体而言，JUA为在统一基准设计下跨多个巴西法律领域的法律检索提供了实用评估框架。
引用
@article{arxiv.2604.06097,
title = {Masking or Mitigating? Deconstructing the Impact of Query Rewriting on Retriever Biases in RAG},
author = {Agam Goyal and Koyel Mukherjee and Apoorv Saxena and Anirudh Phukan and Eshwar Chandrasekharan and Hari Sundaram},
journal= {arXiv preprint arXiv:2604.06097},
year = {2026}
}
备注
ACL'26: 13 pages, 4 figures, 4 tables