ClimRetrieve：用于企业气候信息披露信息检索的基准数据集
信息检索
2024-10-02 v3
摘要
为了处理企业气候沟通中产生的大量定性数据，利益相关者越来越依赖检索增强生成（RAG）系统。然而，在评估特定领域的信息检索（答案生成的基础）方面仍然存在显著差距。为了应对这一挑战，本工作通过检查30份可持续发展报告并附带16个详细的气候相关问题，模拟了可持续发展分析师的典型任务。结果，我们获得了一个包含超过8,500个独特的问题-来源-答案对的数据集，这些对按不同相关性级别进行了标注。此外，我们利用该数据集开发了一个用例，以研究将专家知识整合到基于嵌入的信息检索中。尽管我们表明整合专家知识是有效的，但我们也概述了嵌入在知识密集型下游领域（如气候变化沟通）中的关键局限性。
引用
@article{arxiv.2406.09818,
title = {ClimRetrieve: A Benchmarking Dataset for Information Retrieval from Corporate Climate Disclosures},
author = {Tobias Schimanski and Jingwei Ni and Roberto Spacey and Nicola Ranger and Markus Leippold},
journal= {arXiv preprint arXiv:2406.09818},
year = {2024}
}