CRAFT: 从非结构化数据中提取和微调文化指令
计算与语言
2024-07-11 v2
摘要
大型语言模型（LLM）已迅速演变为各种自然语言处理（NLP）应用的基础。尽管应用广泛，但它们对文化相关概念和推理的理解仍然有限。同时，迫切需要增强这些模型的文化推理能力，特别是对于代表性不足的地区。本文介绍了一种新颖的流水线，用于从大量非结构化语料中提取高质量的文化相关指令微调数据集。我们利用自指令生成流水线来识别文化概念并触发指令。通过与通用指令微调数据集集成，我们的模型在识别和理解区域文化细微差别方面表现出增强的能力，从而提升了推理能力。我们在三个地区（新加坡、菲律宾和美国）进行了实验，性能提升高达6%。我们的研究开辟了直接从非结构化数据中提取文化指令微调集的新途径，为该领域的未来创新树立了先例。
引用
@article{arxiv.2405.03138,
title = {CRAFT: Extracting and Tuning Cultural Instructions from the Wild},
author = {Bin Wang and Geyu Lin and Zhengyuan Liu and Chengwei Wei and Nancy F. Chen},
journal= {arXiv preprint arXiv:2405.03138},
year = {2024}
}
备注
Aceepted to ACL 2024 Workshop - C3NLP (Workshop on Cross-Cultural Considerations in NLP)