中文

要么连续,要么离散,这是问题的二进制

计算与语言 2024-06-13 v1 人工智能 机器学习

摘要

最近,二进制表示被提出作为一种介于连续与离散表示之间的新型表示方法。它在用于替换连续输入向量时展现出相当程度的信息保留能力。本文旨在进一步探索其在输出侧的可行性,以允许模型输出二进制标签。为保留输出侧的结构信息并同时保留标签信息,我们扩展了之前的对比性哈希方法,构筑了结构化对比哈希。具体而言,我们将CKY从标签级别升级为位级别,定义了一种新的相似函数以结合跨度边际概率,并引入了一种经过精心设计的实例选择策略的新型对比损失函数。我们的模型在各种结构化预测任务上实现了具竞争力的性能,证明了二进制表示可被视为一种进一步桥接深度学习连续性与自然语言离散内在属性之间的新型表示方法。

关键词

引用

@article{arxiv.2406.07812,
  title  = {To be Continuous, or to be Discrete, Those are Bits of Questions},
  author = {Yiran Wang and Masao Utiyama},
  journal= {arXiv preprint arXiv:2406.07812},
  year   = {2024}
}

备注

ACL-2024