基于预训练语言模型的立场检测教程:微调BERT与提示大型语言模型
计算与语言
2023-07-31 v1 人工智能
摘要
本文给出两个自包含的教程,分别关于使用BERT微调与提示大型语言模型(LLMs)进行Twitter数据立场检测。第一个教程讲解BERT架构与分词,引导用户通过HuggingFace transformers训练、调优和评估标准及领域特定的BERT模型。第二个聚焦于构建提示与少样本示例,以在不微调的情况下从ChatGPT与开源FLAN-T5中引出立场。各类提示策略通过混淆矩阵与宏F1分数实现并评估。教程提供代码、可视化及见解,揭示少样本ChatGPT与FLAN-T5优于微调BERT的优势。通过以易懂、动手的方式涵盖模型微调与基于提示的技术,这些教程使学习者能获得使用前沿立场检测方法的应用经验。
引用
@article{arxiv.2307.15331,
title = {Tutorials on Stance Detection using Pre-trained Language Models: Fine-tuning BERT and Prompting Large Language Models},
author = {Yun-Shiuan Chuang},
journal= {arXiv preprint arXiv:2307.15331},
year = {2023}
}