探索意大利语句子嵌入的多任务特性

我们研究在多任务设置下，现有的大型语言模型（LLM）对意大利语中抽象语言信息的编码程度。我们利用大规模筛选后的合成数据——包括数十个意大利语的 Blackbird Language Matrices（BLM）问题——来研究句子表示如何编码特定的句法和语义信息。我们采用两级架构来建模，分别压缩句子嵌入以获取与任务相关信息的表示，以及进行 BLM 任务。随后我们探讨是否可以获得编码多个 BLM 任务相关句法和语义信息的压缩句子表示。虽然我们预期句子结构——即短语/块的序列——以及块属性在不同任务之间是共享的，但性能分析和错误分析表明，不同任务的线索在句子嵌入中是以不同方式编码的，这表明抽象语言概念如句法成分或主题角色似乎并未体现在预训练的句子嵌入中。