描述一只 Aucklet：生成基于实证的感知范畴描述
计算与语言
2023-10-27 v3
摘要
人类说话者能够生成从实例层面抽象出来的感知概念描述。此外，此类描述可被其他说话者用来学习这些概念的临时表征。在多模态 NLP 领域，学习和使用抽象感知概念尚未得到充分研究。该问题也与多模态 NLP 中的表征学习领域高度相关。在本文中，我们引入了一个用于测试多模态语言模型中范畴级感知接地（grounding）的框架。具体而言，我们训练独立的神经网络来生成和解释视觉范畴的描述。我们用解释模型的零样本分类性能来衡量两个模型的交流成功率，我们认为这是感知接地的指标。利用该框架，我们比较了基于原型与基于样例的表征的性能。最后，我们表明交流成功率暴露了生成模型中传统内在 NLG 评价指标未能捕捉的性能问题，并认为这些问题源于在范畴层面未能恰当地将语言接地于视觉。
引用
@article{arxiv.2303.04053,
title = {Describe me an Aucklet: Generating Grounded Perceptual Category Descriptions},
author = {Bill Noble and Nikolai Ilinykh},
journal= {arXiv preprint arXiv:2303.04053},
year = {2023}
}
备注
To appear in Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP, Main)