FiLM：用于任意顺序生成的填充式语言模型
计算与语言
2023-10-17 v1
摘要
语言模型已成为当今 AI 系统的支柱。然而，其主导的自左向右生成限制了双向上下文的使用，而这对涉及在中间填充文本的任务至关重要。我们提出填充式语言模型（FiLM），一种允许在任意位置灵活生成、且不遵循特定生成顺序的新语言建模方法。其训练通过采用从 Beta 分布中采样的变化掩码概率来扩展掩码语言建模目标，从而增强 FiLM 的生成能力。在推理时，FiLM 可无缝插入缺失的短语、句子或段落，确保输出流畅且与周围上下文连贯。在自动与人工评估中，FiLM 均优于依赖在重排文本段上训练的自左向右语言模型的现有填充方法。FiLM 易于实现，既可从头训练也可从自左向右语言模型微调得到。值得注意的是，随着模型规模增大，FiLM 的困惑度接近同等规模强自左向右语言模型，表明 FiLM 的可扩展性及作为大语言模型（LLM）的潜力。
引用
@article{arxiv.2310.09930,
title = {FiLM: Fill-in Language Models for Any-Order Generation},
author = {Tianxiao Shen and Hao Peng and Ruoqi Shen and Yao Fu and Zaid Harchaoui and Yejin Choi},
journal= {arXiv preprint arXiv:2310.09930},
year = {2023}
}