нейрохаб.рфСправка
← Справка

Предобучение (pretraining)

Первоначальное обучение модели на большом корпусе данных, формирующее общие представления и способности. Обычно предшествует адаптации к конкретным задачам.

На практике

На первом крупном этапе модель учится общим закономерностям данных. Для языковой модели типичная задача — предсказать токен по другим доступным токенам.

Что учитывать

Предобучение не гарантирует умение следовать пользовательским инструкциям. Такое поведение часто формируется дополнительными этапами обучения и средствами приложения.