表征对齐的奇特案例：解构显现性通信中的视觉-语言任务

自然语言具有组合性和植根于现实的普遍属性。通过仿真显现性通信的 referential 游戏来探讨语言属性的显现，这些实验的结果与针对人类语言 linguistic 属性的类似实验呈现了混合结果。我们将表征对齐（representational alignment）作为导致这些结果的潜在因素进行考察。具体而言，我们评估了智能体图像表征之间以及智能体表征与输入图像之间的表征对齐情况。通过这种方式，我们确认了显现性语言并未编码人类类似的概念视觉特征，因为智能体图像表征会远离输入值，而智能体之间的对齐程度却在增加。我们还识别出智能体之间的对齐程度与 topographic similarity（即组合性的常用指标）之间的强烈关系，并阐述其后果。为解决这些问题，我们引入了一个对齐惩罚项，以防止表征漂移，但有趣的是并未在组合性判别任务上提高性能。我们的结果强调了表征对齐在语言显现性模拟中所发挥的关键作用。