нейрохаб.рфКомпании
← Компании

Проект llm-d

Международный открытый проект распределённого инференса. Участник CNCF Sandbox; основан Google, Red Hat, IBM и другими организациями.

Страна
Международная
Запрещенная организация
Нет

Софт

llm-d

Открытый стек распределённого инференса языковых моделей в Kubernetes. Координирует маршрутизацию запросов, повторное использование KV-кеша и нагрузку на пул ускорителей.

llm-d 1.0 добавил управление распределённым инференсом агентов

Стек объединяет серверы моделей в общий пул с маршрутизацией по кешу и нагрузке. В 1.0 появились API v1, управление приоритетами и справедливым распределением трафика, отказоустойчивость маршрутизатора и обновления без потери контекста. Это помогает обслуживать длительные агентные задачи вместе с интерактивными запросами.