llm-d
Открытый стек распределённого инференса языковых моделей в Kubernetes. Координирует маршрутизацию запросов, повторное использование KV-кеша и нагрузку на пул ускорителей.
- Компания
- Проект llm-d
- Запрещенная организация
- Нет
llm-d 1.0 добавил управление распределённым инференсом агентов
Стек объединяет серверы моделей в общий пул с маршрутизацией по кешу и нагрузке. В 1.0 появились API v1, управление приоритетами и справедливым распределением трафика, отказоустойчивость маршрутизатора и обновления без потери контекста. Это помогает обслуживать длительные агентные задачи вместе с интерактивными запросами.
Версии
Фильтры и сортировка
Записей: 1
llm-d 1.0
Выпуск с API v1, управлением многопользовательским трафиком, отказоустойчивой маршрутизацией и поддержкой состояния агентных сессий.
- Запрещенная организация
- Нет
Совпадений нет
Измените запрос или вернитесь позже.