基于 T5 编解码器软提示微调的受控文本生成及生成文本在 AI 中的效用分析
计算与语言
2022-12-07 v1 机器学习
摘要
受控文本生成因其在自然语言处理中的广阔应用前景而是项重要任务。为实现该任务，我们主要引入了一种新颖的软提示微调方法，即在 T5 模型的编码器和解码器层级同时使用的软提示，并探究其性能，因为解码器相关附加软提示在受控文本生成中的行为此前未被探索。随后我们还探究了在解码器层级引导该扩展软提示 T5 模型输出的可行性，并最终分析了生成文本用于 AI 相关任务（例如利用合成文本训练 AI 模型）的效用，包含对用合成文本训练的分类器的可解释性分析，因为目前缺乏针对生成适用于 AI 任务的恰当标注数据的 methodology 的适当分析。通过对该生成模型及人工生成数据进行的深入内在与外在评估，我们发现该模型相比仅在编码器层级具有单一软提示的 T5 模型取得了更优结果，且用此人工生成数据训练的情感分类器可产生与用真实标注数据训练的分类器相当的分类结果，并且该分类器决策相对于输入文本内容是可解释的。
引用
@article{arxiv.2212.02924,
title = {Controlled Text Generation using T5 based Encoder-Decoder Soft Prompt Tuning and Analysis of the Utility of Generated Text in AI},
author = {Damith Chamalke Senadeera and Julia Ive},
journal= {arXiv preprint arXiv:2212.02924},
year = {2022}
}