нейрохаб.рфСправка
← Справка

Скорость обучения (learning rate)

Настройка масштаба изменения параметров при обучении. Слишком большое значение может мешать сходимости, слишком маленькое — замедлять обучение.

На практике

Параметр определяет масштаб обновления весов на шаге оптимизации. Слишком большой шаг может раскачать обучение, а слишком малый — заметно замедлить продвижение.

Что учитывать

Подходящее значение зависит от модели, оптимизатора и размера батча. Часто используют расписание изменения скорости, а не одно постоянное число.