нейрохаб.рфСправка
← Справка

Токен

Единица, на которую модель разбивает данные. Для текста это может быть часть слова, целое слово или знак; токены не равны словам.

На практике

Токенизатор может разбить слово на несколько частей, а знак пунктуации выделить отдельно. Поэтому одинаковое число слов на разных языках даёт разный размер входа для модели.

Что учитывать

Лимиты контекста и стоимость API часто считают в токенах. Для точной оценки используют токенизатор конкретной модели, а не универсальное соотношение со словами.