面向俄语文本摘要的 GPT-3 微调
计算与语言
2021-08-10 v1
摘要
自动摘要技术旨在缩短并概括文本中给出的信息，同时保留其核心信息与最相关的观点。该任务可通过多种方法进行处理，然而，尽管已有最先进模型的本地化版本，专门针对俄语提出解决方案的尝试却不多见。在本文中，我们旨在展示 ruGPT3 的摘要能力，通过在带有对应人工生成摘要的俄语新闻语料上对其进行微调。此外，我们进行了超参数调优，使模型输出随机性降低并更贴合原始文本。我们使用一组指标对生成的文本进行评估，表明我们的解决方案无需在架构或损失函数上做额外改动即可超越最先进模型的性能。尽管能够生成合理的摘要，我们的模型仍存在若干缺陷，即易于改动原始文本中出现的命名实体（如姓氏、地点、日期）、偏离所给文档中陈述的事实，并在摘要中重复信息。
引用
@article{arxiv.2108.03502,
title = {Fine-tuning GPT-3 for Russian Text Summarization},
author = {Alexandr Nikolich and Arina Puchkova},
journal= {arXiv preprint arXiv:2108.03502},
year = {2021}
}