中文

关键词与实例:一种统一混合粒度用于文本生成的层次化对比学习框架

计算与语言 2025-03-12 v2

摘要

对比学习在生成任务中取得了令人瞩目的成功,以缓解“曝光偏差”问题并区分性利用不同质量的参考文本。现有工作大多聚焦于实例级对比学习,而不区分每个词的贡献,而关键词是文本的要点并主导受约束的映射关系。因此,在本工作中,我们提出一种层次化对比学习机制,可统一输入文本中混合粒度的语义。具体而言,我们首先通过正负对的对比关联提出一个关键词图,以迭代地打磨关键词表示。然后,我们在实例级和关键词级内部构建对比,其中我们假设词是从句子分布中采样的节点。最后,为弥合独立对比层级间的鸿沟并解决常见的对比消失问题,我们提出一种层级间对比机制,分别度量对比关键词节点相对于实例分布的差异。实验表明,我们的模型在改写、对话生成和故事生成任务上优于具有竞争力的基线。

关键词

引用

@article{arxiv.2205.13346,
  title  = {Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation},
  author = {Mingzhe Li and XieXiong Lin and Xiuying Chen and Jinxiong Chang and Qishen Zhang and Feng Wang and Taifeng Wang and Zhongyi Liu and Wei Chu and Dongyan Zhao and Rui Yan},
  journal= {arXiv preprint arXiv:2205.13346},
  year   = {2025}
}

备注

Accepted by ACL2022