通过即时表示优化进行文本修订
计算与语言
2022-04-18 v1
摘要
文本修订指一类自然语言生成任务，其源序列与目标序列在表层形式上具有中等相似度，但在属性上有所不同，如文本正式度与简洁度。当前最先进方法将这些任务表述为序列到序列学习问题，依赖大规模平行训练语料。本文提出一种无需平行数据的迭代式原地编辑文本修订方法。该方法中，我们仅用掩码语言建模与属性分类微调预训练Transformer。推理时，每次迭代的编辑通过两步跨度替换实现：第一步，文本的分布式表示朝某一属性函数即时优化；第二步，掩码一个文本跨度，并基于优化后的表示提出另一新跨度。在两个典型且重要的文本修订任务（文本正式化与文本简化）上的实证实验显示了本方法的有效性。其在文本简化上取得与最先进监督方法相当甚至更优的性能，并在文本正式化上优于强无监督方法\footnote{代码与模型见\url{https://github.com/jingjingli01/OREO}}。
引用
@article{arxiv.2204.07359,
title = {Text Revision by On-the-Fly Representation Optimization},
author = {Jingjing Li and Zichao Li and Tao Ge and Irwin King and Michael R. Lyu},
journal= {arXiv preprint arXiv:2204.07359},
year = {2022}
}
备注
AAAI 2022