FreeChunker：一个跨粒度分块框架
计算与语言
2025-12-02 v1
摘要
分块策略显著影响检索增强生成 (RAG) 系统的效果。现有方法 operate within 固定粒度范式，依赖静态边界识别，限制了其对多样化查询需求的适应性。本文提出 FreeChunker，一种跨粒度编码框架，从根本上改变了传统分块范式：该框架将句子视为原子单元，由静态块分段转变为支持任意句子组合的灵活检索。这种范式转变不仅显著避免了语义边界检测所需的计算开销，还增强了对复杂查询的适应性。LongBench V2 上的实验评估表明，FreeChunker 在检索性能和时间效率方面均显著优于现有分块方法。预训练模型和代码已在 https://github.com/mazehart/FreeChunker 上提供。
关键词
引用
@article{arxiv.2510.20358,
title = {Dialogue Is Not Enough to Make a Communicative BabyLM (But Neither Is Developmentally Inspired Reinforcement Learning)},
author = {Francesca Padovani and Bastian Bunzeck and Manar Ali and Omar Momen and Arianna Bisazza and Hendrik Buschmeier and Sina Zarrieß},
journal= {arXiv preprint arXiv:2510.20358},
year = {2025}
}