Скорость обучения (learning rate)
Настройка масштаба изменения параметров при обучении. Слишком большое значение может мешать сходимости, слишком маленькое — замедлять обучение.
На практике
Параметр определяет масштаб обновления весов на шаге оптимизации. Слишком большой шаг может раскачать обучение, а слишком малый — заметно замедлить продвижение.
Что учитывать
Подходящее значение зависит от модели, оптимизатора и размера батча. Часто используют расписание изменения скорости, а не одно постоянное число.