迈向增强的 RAC 可访问性：利用数据集与 LLMs
机器学习
2024-05-15 v1 人工智能
摘要
本文探讨了利用大语言模型 (LLMs) 使哥伦比亚航空法规 (RAC) 更易于访问的潜力。鉴于 RAC 的复杂性和高度技术性，本研究引入了一种新颖的方法来简化这些法规，以实现更广泛的理解。通过构建首个包含 24,478 个专家标注问答对的 RAC 数据库，并专门针对 RAC 应用对 LLMs 进行微调，本文概述了数据集构建、专家主导标注和模型训练的方法论。该研究采用 Gemma1.1 2b 模型，并结合 Unsloth 等先进技术以实现高效的 VRAM 使用和 Flash Attention 机制，旨在加速训练过程。这一举措为提升 RAC 的可理解性和可访问性奠定了基础，有可能使初学者受益，并减少在航空业监管环境中对专家咨询的依赖。您可以在此访问数据集 (https://huggingface.co/somosnlp/gemma-1.1-2b-it_ColombiaRAC_FullyCurated_format_chatML_V1) 和模型 (https://huggingface.co/datasets/somosnlp/ColombiaRAC_FullyCurated)。
引用
@article{arxiv.2405.08792,
title = {Towards Enhanced RAC Accessibility: Leveraging Datasets and LLMs},
author = {Edison Jair Bejarano Sepulveda and Nicolai Potes Hector and Santiago Pineda Montoya and Felipe Ivan Rodriguez and Jaime Enrique Orduy and Alec Rosales Cabezas and Danny Traslaviña Navarrete and Sergio Madrid Farfan},
journal= {arXiv preprint arXiv:2405.08792},
year = {2024}
}