Токенизация
Преобразование текста в последовательность токенов и их числовых идентификаторов. Разные токенизаторы могут по-разному разбивать один текст, поэтому число токенов зависит от модели.
На практике
Перед вычислениями текст превращают в последовательность идентификаторов токенов. Один токен может соответствовать слову, части слова или другому фрагменту.
Что учитывать
Токенизация зависит от конкретной модели. Неправильный токенизатор или шаблон диалога может испортить результат даже при корректно загруженных весах.