探究 BERT 中的文本缩短策略：截断与摘要

基于 Transformer 的模型的并行性是以其输入最大长度为代价的。一些研究提出了克服这一限制的方法，但都没有报告摘要作为替代方法的有效性。在本研究中，我们调查了文档截断和摘要在文本分类任务中的表现。两者都通过几种变体进行了调查。本研究还调查了它们的性能与全文性能的接近程度。我们使用了一个基于印度尼西亚语新闻文章的摘要任务数据集来进行分类测试。本研究表明，摘要在大多数截断方法变体中表现更好，并且仅输给其中一种。本研究获得的最佳策略是提取文档的头部。其次是抽取式摘要。本研究解释了结果发生的原因，从而为进一步的研究奠定了基础，以利用文档摘要作为缩短替代方案的潜力。本工作中使用的代码和数据可在 https://github.com/mirzaalimm/TruncationVsSummarization 公开获取。