烹饪分类大战：利用 ASH 评估 LLMs 在菜肴迁移任务中的表现
计算与语言
2024-11-05 v1 人工智能
机器学习
摘要
大型语言模型（LLMs）的出现在包括烹饪艺术在内的各种创意领域展现了前景。然而，许多 LLMs 在面对将食谱适配特定文化需求的任务时，仍然难以达到期望的烹饪创造力水平。本研究聚焦于菜肴迁移——将一种烹饪文化的元素应用于另一种烹饪文化——以评估 LLMs 的烹饪创造力。我们采用多样化的 LLMs 集合来生成和评估文化适配食谱，并将其评估结果与 LLM 和人类判断进行比较。我们引入 ASH（真实性、敏感性、和谐性）基准来评估 LLMs 在菜肴迁移任务中的食谱生成能力，评估其在烹饪领域的文化准确性和创造力。我们的发现揭示了 LLMs 在烹饪领域生成和评估能力的关键见解，突出了其在理解和应用食谱创作中文化细微差别方面的优势和局限。该项目使用的代码和数据集将在 \url{http://github.com/dmis-lab/CulinaryASH} 公开获取。
引用
@article{arxiv.2411.01996,
title = {Culinary Class Wars: Evaluating LLMs using ASH in Cuisine Transfer Task},
author = {Hoonick Lee and Mogan Gim and Donghyeon Park and Donghee Choi and Jaewoo Kang},
journal= {arXiv preprint arXiv:2411.01996},
year = {2024}
}