Finestre contestuali da centinaia di migliaia di token obbligano a progettare il contesto

Con finestre contestuali arrivate a centinaia di migliaia di token, i team hanno smesso di fissarsi sul prompt perfetto e trattano tutto ciò che il modello vede come un unico budget da progettare: istruzioni di sistema, documenti recuperati, risultati degli strumenti, cronologia della conversazione, memoria¹.

Più spazio invita a incollare tutto, per non rischiare di perdere qualcosa. È una trappola. Il contesto irrilevante diluisce l’attenzione e peggiora l’accuratezza, anche quando la risposta è presente nella finestra. Più spazio non equivale a un uso migliore¹.

Cosa entra davvero nel budget del contesto: l’istruzione di sistema, che definisce ruolo, vincoli e formato di output, si imposta una volta e si riusa a ogni chiamata. I documenti recuperati, i chunk estratti per la domanda specifica, dove conta la pertinenza più del volume. I risultati degli strumenti, ciò che una funzione o una ricerca restituiscono, spesso la parte più rumorosa della finestra. La cronologia della conversazione, i turni precedenti, da potare in modo aggressivo nei loop di agenti lunghi, evitando di aggiungere sempre tutto. La memoria, i fatti che si portano tra sessioni, da curare con attenzione e non come un dump di ogni interazione passata¹.

Questo spostamento impone decisioni esplicite su cosa includere. Ogni componente entra con uno scopo chiaro. L’istruzione di sistema chiarisce il perimetro operativo e il formato atteso. I documenti recuperati devono rispondere alla domanda in corso, non coprire ogni possibilità. I risultati degli strumenti aggiungono segnali utili solo se realmente pertinenti. La cronologia conserva i passaggi necessari per capire il punto attuale della conversazione, non l’intero scambio. La memoria mantiene informazioni stabili e utili nelle sessioni successive, non tutto il passato¹.

Gli errori comuni nascono da eccesso e inerzia. Incollare documenti interi al posto del passaggio rilevante consuma budget e introduce rumore. Lasciare che gli output degli strumenti si accumulino senza potature aggiunge materiale non più utile e confonde il modello. In entrambi i casi la risposta può già esserci, ma risulta più difficile da individuare per via del contesto superfluo¹.

La pertinenza batte il volume. Selezionare i chunk giusti conta più che aumentare la quantità. Tagliare la cronologia superflua mantiene focalizzata la sessione, soprattutto nei loop prolungati. Curare la memoria evita che la finestra si trasformi in un deposito indiscriminato. Il principio è coerente su tutte le voci del budget: includere ciò che serve alla domanda corrente, escludere il resto¹.

Quando il contesto si amplia, la gestione dei punti rumorosi decide la qualità dell’output. I risultati degli strumenti sono spesso la fonte di rumore più alta: vanno controllati e limitati per non saturare la finestra. La scelta dei documenti recuperati richiede attenzione alla pertinenza. La cronologia va potata con regolarità. La memoria va curata come un set di fatti essenziali. Progettare il budget di contesto significa applicare queste scelte in modo sistematico, domanda per domanda¹.