利用动态容量槽注意力从字符序列中归纳有意义的单元

字符本身不传达意义，但字符序列可以。我们提出一种无监督分布方法，用于学习字符序列中抽象的语义单元。我们的动态容量槽注意力（Dynamic Capacity Slot Attention）模型不对序列进行切分，而是发现序列中对象的连续表示，扩展了用于图像中对象发现的架构。我们在不同语言上训练模型，并通过前向与反向探测分类器评估所得表示的质量。实验表明，我们的模型成功发现了先前提出的在形式、内容和抽象层级上相似的单元，并有望在更高抽象层级上捕捉有意义的信息。