нейрохаб.рфСправка
← Справка

Квантизация

Представление параметров модели с меньшей числовой точностью. Помогает уменьшить объём памяти; влияние на качество и скорость зависит от метода и оборудования.

На практике

При переводе весов из более точного формата в низкую разрядность уменьшается объём хранения. Например, четырёхбитное представление может сделать возможным локальный запуск большой модели.

Что учитывать

Экономия памяти не гарантирует ускорения: нужны подходящие вычислительные реализации. Качество проверяют на своей задаче, поскольку разные методы и модели реагируют на сжатие по-разному.