Видеопамять (VRAM)
Память видеокарты. При запуске нейросети в ней размещаются веса модели и промежуточные данные. Одного размера файла весов недостаточно для точной оценки потребления памяти.
На практике
В памяти GPU размещаются веса, промежуточные вычисления и кэш контекста. Поэтому модель, файл которой помещается на видеокарте, может всё равно исчерпать память при длинном диалоге.
Что учитывать
При оценке требований учитывают формат весов, длину контекста и число одновременных запросов. Выгрузка части вычислений в оперативную память может позволить запуск, но изменить скорость.