нейрохаб.рфСофт
← Софт

llm-d

Открытый стек распределённого инференса языковых моделей в Kubernetes. Координирует маршрутизацию запросов, повторное использование KV-кеша и нагрузку на пул ускорителей.

Компания
Проект llm-d
Запрещенная организация
Нет

llm-d 1.0 добавил управление распределённым инференсом агентов

Стек объединяет серверы моделей в общий пул с маршрутизацией по кешу и нагрузке. В 1.0 появились API v1, управление приоритетами и справедливым распределением трафика, отказоустойчивость маршрутизатора и обновления без потери контекста. Это помогает обслуживать длительные агентные задачи вместе с интерактивными запросами.

Версии

Фильтры и сортировка
Записей: 1

llm-d 1.0

Выпуск с API v1, управлением многопользовательским трафиком, отказоустойчивой маршрутизацией и поддержкой состояния агентных сессий.

Запрещенная организация
Нет