нейрохаб.рфСправка
← Справка

Видеопамять (VRAM)

Память видеокарты. При запуске нейросети в ней размещаются веса модели и промежуточные данные. Одного размера файла весов недостаточно для точной оценки потребления памяти.

На практике

В памяти GPU размещаются веса, промежуточные вычисления и кэш контекста. Поэтому модель, файл которой помещается на видеокарте, может всё равно исчерпать память при длинном диалоге.

Что учитывать

При оценке требований учитывают формат весов, длину контекста и число одновременных запросов. Выгрузка части вычислений в оперативную память может позволить запуск, но изменить скорость.