нейрохаб.рфСправка
← Справка

Разбиение на фрагменты (chunking)

Деление документов на части для индексирования и передачи модели. Размер и границы фрагментов влияют на полноту поиска и сохранение полезного контекста.

На практике

Длинный документ разделяют на части для индексации и передачи модели. Например, инструкцию можно разбить по разделам, сохранив заголовок и происхождение каждого фрагмента.

Что учитывать

Слишком маленькие части теряют контекст, слишком большие добавляют шум. Перекрытие помогает сохранять связи, но увеличивает размер индекса и число повторов.