нейрохаб.рфСправка
← Справка

Задержка ответа (latency)

Время ожидания результата запроса. При сравнении уточняют, измеряется ли первый токен или весь ответ, а также длину входа, выхода и нагрузку.

На практике

Для интерактивного чата полезно измерять ожидание первого фрагмента и полного ответа отдельно. Например, ответ может начаться быстро, но завершаться долго из-за большого объёма текста.

Что учитывать

Среднее скрывает редкие долгие ожидания. При оценке сервиса учитывают распределение задержек, нагрузку, длину запросов и сетевую часть.