USTCCTSU at SemEval-2024 Task 1: Reducing Anisotropy for Cross-lingual Semantic Textual Relatedness Task

跨语言语义文本相关性任务是一项重要的研究任务，旨在解决跨语言沟通和文本理解中的挑战。它有助于在不同语言之间建立语义联系，这对于机器翻译、多语言信息检索和跨语言文本理解等下游任务至关重要。基于大量比较实验，我们选取 XLM-R-base 作为基础模型，并使用基于白化的预训练句子表示来减少各向异性。此外，针对给定的训练数据，我们设计了细致的数据过滤方法，以缓解多语言性的诅咒。通过 our 方法，我们在西班牙语中获得第 2 名成绩，在印尼语中获得第 3 名，在赛事的 C 轨道中获得多个前十名结果。我们进一步进行了全面分析，以激励未来针对跨语言任务性能提升的研究。