TextBox 2.0：一个基于预训练语言模型的文本生成库
计算与语言
2022-12-27 v1
摘要
为促进文本生成研究，本文提出一个全面且统一的库 TextBox 2.0，重点关注预训练语言模型（PLMs）的使用。在全面性方面，我们的库涵盖了 个常见文本生成任务及其对应的 个数据集，并进一步纳入了 个预训练语言模型，涵盖通用、翻译、中文、对话、可控、蒸馏、提示（prompting）和轻量级预训练语言模型。我们还实现了 种高效训练策略，并提供了 种生成目标，用于从头预训练新的预训练语言模型。在统一性方面，我们设计了支持整个研究流程（从数据加载到训练与评估）的接口，确保每一步都能以统一方式完成。尽管功能丰富，我们的库仍易于使用，既可通过友好的 Python API，也可通过命令行。为验证库的有效性，我们进行了大量实验并示例了四类研究场景。该项目发布于：https://github.com/RUCAIBox/TextBox。
引用
@article{arxiv.2212.13005,
title = {TextBox 2.0: A Text Generation Library with Pre-trained Language Models},
author = {Tianyi Tang and Junyi Li and Zhipeng Chen and Yiwen Hu and Zhuohao Yu and Wenxun Dai and Zican Dong and Xiaoxue Cheng and Yuhao Wang and Wayne Xin Zhao and Jian-Yun Nie and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2212.13005},
year = {2022}
}
备注
Accepted by EMNLP 2022