нейрохаб.рфСправка
← Справка

Размер батча (batch size)

Количество примеров, обрабатываемых совместно за один шаг. При обучении влияет на расход памяти и оценку градиента; накопление градиентов позволяет увеличить эффективный батч.

На практике

Батч объединяет примеры, по которым вычисляют один шаг обучения. Больший батч обычно требует больше памяти, но может лучше использовать параллельные вычисления.

Что учитывать

Накопление градиентов позволяет увеличить эффективный батч без одновременного размещения всех примеров. Это не делает время вычислений и расход памяти одинаковыми с большим физическим батчем.