古老智慧，现代工具：探索古印度哲学的检索增强型大语言模型
计算与语言
2024-08-26 v2 计算机与社会
信息检索
摘要
大语言模型 (LLM) 已彻底改变信息检索和知识传播的格局。然而，其在专业领域的应用常受到事实错误和幻觉的限制，尤其是在长尾知识分布方面。我们探索检索增强生成 (RAG) 模型在专业知识领域进行长篇问答 (LFQA) 的潜力。我们呈现了 VedantaNY-10M 数据集，该数据集源自关于古印度 Advaita Vedanta 哲学的广泛公开讨论。我们开发并基准测试了 RAG 模型与标准非 RAG 大语言模型，重点关注转录、检索和生成性能。计算语言学家和领域专家的人类评估表明，RAG 模型在生成更准确、更全面的回答方面显著优于标准模型，幻觉更少。此外，一种强调独特低频术语的关键词混合检索器进一步提高了结果。我们的研究为将现代大型语言模型与古老知识体系有效集成提供了见解。项目页面附有数据集和代码：https://sites.google.com/view/vedantany-10m
引用
@article{arxiv.2408.11903,
title = {Ancient Wisdom, Modern Tools: Exploring Retrieval-Augmented LLMs for Ancient Indian Philosophy},
author = {Priyanka Mandikal},
journal= {arXiv preprint arXiv:2408.11903},
year = {2024}
}
备注
Outstanding Paper at the Machine Learning for Ancient Languages Workshop, 2024.ml4al-1.23, Association for Computational Linguistics (ACL) 2024