Токен

Единица, на которую модель разбивает данные. Для текста это может быть часть слова, целое слово или знак; токены не равны словам.