Как fan-out создаёт хвост задержек: эксперимент с параллельными вызовами сервисов

Каждый сервис отвечает быстро, запросы выполняются параллельно, но итоговый ответ всё равно не укладывается в SLA. Причина может быть в самом количестве зависимостей: чем их больше, тем выше вероятность дождаться хотя бы одного медленного ответа. На примере карточки товара разберём, как fan-out влияет на хвостовые задержки, почему растёт p99 и какой ценой можно ускорить ответ, ограничив ожидание необязательных данных. Разобрать эксперимент

Описание из RSS. Читать у источника →

Читайте также

Похожие новости

[VK Tech] · Москва

Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99

Демо нагрузки и реальная нагрузка различаются. Демо всегда быстрое — если поставить модель и прогнать пару запросов, то latency вас обрадуе…

04.08, 16:19 · 1 мин

[Tproger] · Забайкальский край

Рост команды не всегда ускоряет выпуск фич: как архитектурная связность замедляет разработку

Один день на прямой SQL или три на разделение слоёв? Разбираем связность кода, адаптеры и технический долг: как сократить объём будущих пра…

30.09, 15:49 · 1 мин

[VK Tech] · Москва

RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache

В замере Red Hat два балансировщика распределяли один и тот же чат-трафик между четырьмя GPU NVIDIA L4. По числу обработанных запросов в се…

07.10, 18:58 · 1 мин

[Habr] · Москва

Оценил по Сюю 500 запросов в секунду — замерил на ноутбуке: вот где сломалось

Посчитал нагрузку на сокращатель ссылок по главе 2 «System Design Interview» Алекса Сюя, записал ожидание (500 RPS, p95 ≈ 20 мс), собрал ст…

Сегодня, 15:29 · 1 мин

[Ozon Tech] · Москва

Loople: Ozon Tech перешел от полной выгрузки к версионированию в PostgreSQL для доставки гигабайтов данных в память подов

Представьте себе высоконагруженный сервис, который решает, с какого из множества складов нужно отправить товар покупателю. В пике через нег…

06.07, 18:00 · 1 мин