Градиентный спуск
Способ обновления параметров в направлении уменьшения функции потерь. Величина шага зависит от скорости обучения и выбранного алгоритма оптимизации.
На практике
Алгоритм оценивает, как изменение параметров влияет на потери, и делает шаг в направлении их уменьшения. На практике часто используют приближённый градиент по батчу данных.
Что учитывать
Размер шага и свойства оптимизатора влияют на устойчивость. Метод не гарантирует нахождение глобально лучшего решения сложной нейронной сети.