Предобучение (pretraining)
Первоначальное обучение модели на большом корпусе данных, формирующее общие представления и способности. Обычно предшествует адаптации к конкретным задачам.
На практике
На первом крупном этапе модель учится общим закономерностям данных. Для языковой модели типичная задача — предсказать токен по другим доступным токенам.
Что учитывать
Предобучение не гарантирует умение следовать пользовательским инструкциям. Такое поведение часто формируется дополнительными этапами обучения и средствами приложения.