中文

微调语言模型用于食谱生成:一项比较分析与基准研究

计算与语言 2025-02-18 v2 人工智能

摘要

本研究通过微调多种小型语言模型,对食谱生成任务进行了探索与研究,重点关注开发稳健的评估指标,并在不同语言模型之间比较这一开放式食谱生成任务。本研究对多种模型架构进行了广泛实验,涵盖 T5-small、SmolLM-135M 到 Phi-2,同时实现了传统 NLP 指标和自定义的领域特定评估指标。我们新颖的评估框架整合了用于评估内容质量的食谱特定指标,并引入了过敏原替代方法。结果表明,虽然较大的模型通常在标准指标上表现更好,但在考虑领域特定指标时,模型大小与食谱质量之间的关系更为微妙。SmolLM-360M 和 SmolLM-1.7B 尽管在微调前后存在尺寸差异,却表现出相当的性能,而微调 Phi-2 尽管参数数量更大,却在食谱生成中显示出明显的局限性。该综合评估框架和过敏原替代系统为未来在食谱生成以及需要领域专业知识和安全考量的更广泛自然语言生成任务中的工作提供了宝贵的见解。

关键词

引用

@article{arxiv.2502.02028,
  title  = {Fine-tuning Language Models for Recipe Generation: A Comparative Analysis and Benchmark Study},
  author = {Anneketh Vij and Changhao Liu and Rahul Anil Nair and Theodore Eugene Ho and Edward Shi and Ayan Bhowmick},
  journal= {arXiv preprint arXiv:2502.02028},
  year   = {2025}
}

备注

18 pages, 10 figures,14 tables