FiLLM -- 基于东南亚大语言模型（SEALLM）的菲律宾优化大语言模型
计算与语言
2025-05-27 v1 人工智能
摘要
本研究提出 FiLLM，一款为菲律宾语言优化的大型语言模型，旨在增强菲律宾语（Filipino）语言处理（NLP）能力。该模型基于 SeaLLM-7B 2.5 模型，利用低秩适应（Low-Rank Adaptation, LoRA）进行微调，以在保持任务特定性能的同时优化内存效率。该模型在多样化的菲律宾数据集上进行训练和评估，以解决命名实体识别（Named Entity Recognition, NER）、词性标注（Part-of-Speech, POS）、依存句法分析（Dependency Parsing）和文本摘要（Text Summarization）等关键 NLP 任务。对比了 CalamanCy 模型，使用 F1 分数、精确率、召回率、压缩率和关键词重叠度等指标进行性能比较。结果表明，Calamancy 在多个方面优于 FILLM，显示出在处理菲律宾文本方面具有更好的语言理解和适应性。该研究为推动菲律宾 NLP 应用的发展提供了一套优化、高效且可扩展的语言模型，针对当地语言需求进行优化。
引用
@article{arxiv.2505.18995,
title = {FiLLM -- A Filipino-optimized Large Language Model based on Southeast Asia Large Language Model (SEALLM)},
author = {Carlos Jude G. Maminta and Isaiah Job Enriquez and Deandre Nigel Nunez and Michael B. Dela Fuente},
journal= {arXiv preprint arXiv:2505.18995},
year = {2025}
}