Un server da 10 ms mette in luce la “knee” e i pericoli dei percentili

A 70 richieste al secondo, il 1% più lento sale a 157,6 millisecondi, anche se il server lavora al 70%: la coda ha già piegato la latenza di coda.¹

L’esperimento usa un server “piatto”: una sola unità di lavoro, circa 10 millisecondi di CPU per richiesta in un ciclo di busy work che blocca l’event loop. Ogni richiesta arrivata mentre un’altra è in esecuzione aspetta. Il file è server.js. La capacità teorica è 100 richieste al secondo, 1000 diviso 10. Codice reale, numeri misurati sulla macchina dell’autore.¹

Primo test, la “knee”. Si aumenta il traffico e si guardano i percentili. Quando il carico si avvicina al massimo, la coda nasce prima che tutto diventi lento. I percentili alti si muovono per primi, perché gli arrivi più recenti attendono di più. Nella corsa verso la knee, la coda in coda si impenna per prima, la media segue per ultima. A 70 richieste al secondo, la stima M/M/1 W = 1/(μ − λ) dà 33,3 millisecondi, e la media misurata la segue all’inizio, poi deraglia vicino alla piega. Non si aspetta il 100% di utilizzo per vedere la coda: il margine finisce ben prima del pieno.¹

Secondo test: una pagina con dipendenze in parallelo è lenta quanto la sua chiamata più lenta. L’esperimento assegna a ogni dipendenza il 2% di probabilità di durare 200 millisecondi. Si mandano 40 pagine al secondo, aumentando il fan-out. Le medie vanno da 4 a 63 millisecondi. I p95 vanno da 1,5 a 202,1 millisecondi. Con 20 chiamate in parallelo, circa il 31% delle pagine incappa nei 200 millisecondi. La previsione 1 − (1 − 0,02)^20, circa 33%, combacia. Una dipendenza lenta al 2%, ripetuta 20 volte in parallelo, diventa un problema su una pagina su tre.¹

Terzo test, la legge di Little come riscontro. La relazione L = λ × W collega richieste in volo, tasso di arrivo e tempo medio nel sistema. Vale su quasi ogni coda stabile, quindi controlla l’integrità dei numeri. Nelle misure, L corrisponde a λ × W su tutte e quattro le righe presentate. La previsione M/M/1 resta vicina ai dati a basso carico, poi si allontana di più a 90 richieste al secondo, dove ci si aspetta che il modello didattico vacilli. Quando L e λ × W non concordano, misurazione o modello hanno un problema.¹

Per chi gestisce servizi: guardare i percentili, non solo la media. Progettare un budget di latenza consapevole del fan-out, perché ogni chiamata in più moltiplica le probabilità di colpire il 2% peggiore. Lasciare aria prima della knee, che segna la fine del margine confortevole. Usare la legge di Little come riscontro continuo e indagare quando l’uguaglianza si rompe.¹

Nota di metodo: i test sono finiti, su una macchina, con un event loop bloccato, una sorgente casuale con seed e un generatore di carico che introduce rumore. Le formule M/M/1 insegnano, non promettono. Contano tendenze e relazioni più dei singoli punti.¹

L’autore mantiene un repository di esercizi pratici di system design che parte dagli strumenti di misura, poi passa ad architetture, storage e sistemi distribuiti.¹