大语言模型是否理解罗马尼亚驾驶法律？基于多模态和微调问答的研究
计算与语言
2025-09-30 v1 机器学习
摘要
确保新手和经验丰富的驾驶员掌握当前交通规则对于道路安全至关重要。本文评估了大型语言模型 (LLM) 在罗马尼亚驾驶法律问答中的表现, 包括解释生成。我们发布了一个包含 1,208 个问题 (其中 387 个为多模态) 的数据集, 并比较了文本-only 和多模态 SOTA 系统, 随后衡量了针对 Llama 3.1-8B-Instruct 和 RoLlama 3.1-8B-Instruct 的领域特定微调影响。SOTA 模型表现良好, 但微调后的 8B 模型同样具有竞争力。文本描述的图像优于直接视觉输入。最后, 一个以 LLM 作为评判者的评估解释质量, 揭示了自我偏好偏差。该研究为较语言资源较少的语言提供可解释问答指导。
引用
@article{arxiv.2509.23715,
title = {Do LLMs Understand Romanian Driving Laws? A Study on Multimodal and Fine-Tuned Question Answering},
author = {Eduard Barbu and Adrian Marius Dumitran},
journal= {arXiv preprint arXiv:2509.23715},
year = {2025}
}
备注
Accepted@ CONSILR 2025 Bucharest Romania 9-10 October