Квантизация
Представление параметров модели с меньшей числовой точностью. Помогает уменьшить объём памяти; влияние на качество и скорость зависит от метода и оборудования.
На практике
При переводе весов из более точного формата в низкую разрядность уменьшается объём хранения. Например, четырёхбитное представление может сделать возможным локальный запуск большой модели.
Что учитывать
Экономия памяти не гарантирует ускорения: нужны подходящие вычислительные реализации. Качество проверяют на своей задаче, поскольку разные методы и модели реагируют на сжатие по-разному.