ConfReady：基于 RAG 的会议检查表响应助手与数据集
计算与语言
2025-09-22 v2 人工智能
信息检索
摘要
ARR 负责任 NLP 研究检查表网站指出，"该检查表旨在鼓励最佳实践，涵盖研究伦理、社会影响和可重复性等问题。"回答问题是作者反思其工作并确保所共享的科学资产遵循最佳实践的机会。理想情况下，在提交之前考虑检查表有助于有利地影响论文的写作。然而，前期研究表明，自报告的检查表响应并不总是准确地代表论文。在本工作中，我们引入 ConfReady，一个基于检索增强生成 (RAG) 的应用程序，可用于赋能作者反思其工作并协助作者处理会议检查表。为了评估检查表助手，我们精选了 1,975 份 ACL 检查表响应的数据集，分析了人类答案中的问题，并对 RAG 和大型语言模型 (LM) 基于评估子集的系统进行基准测试。我们的代码已在 AGPL-3.0 许可证下发布于 GitHub，文档涵盖用户界面和 PyPI 软件包。
引用
@article{arxiv.2408.04675,
title = {ConfReady: A RAG based Assistant and Dataset for Conference Checklist Responses},
author = {Michael Galarnyk and Rutwik Routu and Vidhyakshaya Kannan and Kosha Bheda and Prasun Banerjee and Agam Shah and Sudheer Chava},
journal= {arXiv preprint arXiv:2408.04675},
year = {2025}
}
备注
Accepted at EMNLP 2025 Demo