Задержка ответа (latency)
Время ожидания результата запроса. При сравнении уточняют, измеряется ли первый токен или весь ответ, а также длину входа, выхода и нагрузку.
На практике
Для интерактивного чата полезно измерять ожидание первого фрагмента и полного ответа отдельно. Например, ответ может начаться быстро, но завершаться долго из-за большого объёма текста.
Что учитывать
Среднее скрывает редкие долгие ожидания. При оценке сервиса учитывают распределение задержек, нагрузку, длину запросов и сетевую часть.