Standardize：使语言模型与专家定义的内容生成标准对齐
计算与语言
2024-10-07 v2
摘要
工程、医疗和教育领域的领域专家在制作技术手册、药物说明和儿童阅读材料等高质量内容时遵循严格的标准。然而，当前可控文本生成的研究尚未探索利用这些标准作为控制参考。为此，我们介绍了 Standardize，这是一种基于检索式上下文学习（in-context learning）的框架，旨在引导大型语言模型与专家定义的标准对齐。我们以教育领域的英语标准为例，针对开放式内容生成任务，考虑了欧洲语言共同参考框架（CEFR）和共同核心标准（CCS）。我们的研究结果表明，在所评估的开源和商业 LLM 中，模型的精确准确率提高了 45% 到 100%，这表明从标准中提取知识工件并将其整合到生成过程中，可以有效引导模型生成更符合标准的内容。
引用
@article{arxiv.2402.12593,
title = {Standardize: Aligning Language Models with Expert-Defined Standards for Content Generation},
author = {Joseph Marvin Imperial and Gail Forey and Harish Tayyar Madabushi},
journal= {arXiv preprint arXiv:2402.12593},
year = {2024}
}
备注
Camera-ready for EMNLP 2024 (Main)