元微调LLM以利用词汇知识实现可泛化的语言风格理解
计算与语言
2024-06-07 v2 机器学习
摘要
语言风格常被写作者用来传达其意图、身份及对语言的驾驭。本文表明，当前大型语言模型在不经微调时难以捕捉某些语言风格。为应对这一挑战，我们探究LLM能否基于代表性词汇表进行元训练，以识别其未被微调过的新风格。在13个既定风格分类任务以及由LLM生成的63个新颖任务上的实验表明，使用风格词汇表进行元训练持续改善了跨风格的零样本迁移。我们在 http://github.com/octaviaguo/Style-LLM 发布了代码与数据。
引用
@article{arxiv.2305.14592,
title = {Meta-Tuning LLMs to Leverage Lexical Knowledge for Generalizable Language Style Understanding},
author = {Ruohao Guo and Wei Xu and Alan Ritter},
journal= {arXiv preprint arXiv:2305.14592},
year = {2024}
}
备注
Accepted to ACL 2024 main conference