Разбиение на фрагменты (chunking)
Деление документов на части для индексирования и передачи модели. Размер и границы фрагментов влияют на полноту поиска и сохранение полезного контекста.
На практике
Длинный документ разделяют на части для индексации и передачи модели. Например, инструкцию можно разбить по разделам, сохранив заголовок и происхождение каждого фрагмента.
Что учитывать
Слишком маленькие части теряют контекст, слишком большие добавляют шум. Перекрытие помогает сохранять связи, но увеличивает размер индекса и число повторов.