CoT-BERT：通过思维链增强无监督句子表示
计算与语言
2024-06-21 v4 人工智能
摘要
无监督句子表示学习旨在将输入句子转换为富含复杂语义信息的定长向量，同时避免对标注数据的依赖。该领域近期的进展显著受到对比学习和提示工程的推动。尽管有这些进展，该领域已陷入瓶颈，导致一些研究者引入外部组件以提升句子嵌入的质量。这种集成虽有裨益，却使解决方案复杂化并增加了计算资源需求。为应对这些挑战，本文提出 CoT-BERT，一种利用思维链（Chain-of-Thought）推理的渐进式思考来挖掘 BERT 等预训练模型潜在能力的创新方法。此外，我们开发了先进的对比学习损失函数并提出了一种新颖的模板去噪策略。严谨的实验表明，CoT-BERT 仅依靠预训练模型的内在优势便超越了一系列成熟的基线方法。
引用
@article{arxiv.2309.11143,
title = {CoT-BERT: Enhancing Unsupervised Sentence Representation through Chain-of-Thought},
author = {Bowen Zhang and Kehua Chang and Chunping Li},
journal= {arXiv preprint arXiv:2309.11143},
year = {2024}
}
备注
Accepted by ICANN 2024