Pipeline RAG basate su embeddings possono perdere codici critici, torna un algoritmo del 1994

Alla domanda “What does error code ZX-4821 mean?”, il retriever non restituisce il documento che contiene ZX-4821 e la spiegazione dell’errore. Recupera tre passaggi generici su guasti e diagnostica. Nessuno contiene il codice cercato¹.

Il problema non è l’argomento. I passaggi parlano del prodotto giusto, del tipo di problema giusto, del contesto giusto. Manca la stringa che conta: ZX-4821. L’embedding ha capito il tema, non l’identificatore esatto¹.

Lo stesso articolo mostra l’altro lato. “Can I get my money back if the product arrived broken?” trova la policy corretta con retrieval denso. La policy non dice “money back” o “broken”. Dice “customers are eligible for a refund when an item is delivered in a defective condition”. Le due frasi esprimono quasi la stessa idea, il sistema la coglie¹.

Qui la ricerca lessicale rischia di fallire. Non vede sinonimi, vede solo corrispondenze letterali. Nel primo caso, però, serve la corrispondenza letterale. Un codice alfanumerico diverso, ZX-4821 invece di ZX-4812, cambia il significato. Una singola cifra sbagliata porta fuori strada¹.

La tensione è chiara. Gli embeddings aiutano quando le parole cambiano ma il senso resta. Possono sbagliare quando il senso dipende da una stringa precisa. Con i codici di errore, il documento giusto può esistere e restare invisibile al retriever che privilegia la somiglianza semantica¹.

L’articolo richiama un algoritmo del 1994. Il titolo afferma che molte pipeline RAG ne sono prive. L’indicazione è di rimetterlo in gioco dove contano le corrispondenze testuali esatte. Non per sostituire gli embeddings, ma per coprire il buco che l’esempio di ZX-4821 mette in evidenza¹.

La lezione tocca i flussi di supporto. Nel caso descritto, un assistente di customer support vede la domanda sul codice, ma la catena non recupera la pagina con la risposta. Il sistema finisce per proporre consigli generici su guasti e diagnostica. L’utente resta senza la spiegazione specifica, pur presente nella knowledge base¹.

Il secondo esempio mostra invece un punto di forza del retrieval denso. La corrispondenza di significato tra “money back” e “eligible for a refund” supera le differenze lessicali. La semantica aiuta quando la formulazione varia e l’intento resta stabile¹.

I due casi fissano un criterio operativo semplice. Alcune domande richiedono sinonimi e parafrasi. Altre richiedono corrispondenze letterali, anche a livello di singolo carattere. Una pipeline RAG che non distingue i due bisogni può mancare il documento più rilevante, anche quando esiste nel corpus¹.

Il richiamo a un algoritmo del 1994 segnala che, per le stringhe che non ammettono ambiguità, a volte la soluzione più adatta è già stata inventata¹.