Datalogy open-source Zephon per streamare dati di training dai lakehouse
Testo scritto con l’intelligenza artificiale a partire da 2 fonti citate, senza revisione umana prima della pubblicazione.
Zephon esegue in modo deterministico e late-binding operazioni stateful come tokenizzazione, separando schedulazione e lettura dei payload per evitare materializzazioni di corpus.
Datalogy ha rilasciato Zephon in open source: consente di streamare i batch di training direttamente dai formati del lakehouse, ad esempio Parquet, senza rimaterializzare il corpus a ogni variante di curation1.
Il progetto sostituisce ETL offline monouso con esecuzione online deterministica e binding tardivo. Mira a operazioni stateful n-to-m come tokenizzazione, bin-packing e mixing a livello di token, eseguite al volo invece che in preprocess1.
La struttura separa la schedulazione dal read dei payload. WorkSource gestisce il curriculum con puntatori, mentre i dati restano in formati colonnari come Parquet e Vortex. In questo modo i batch si costruiscono on demand, restando vicini ai file del lakehouse. Niente copie intermedie, niente “tasse” di storage e compute per ogni ablation o curation diversa1.
Il modello richiama il compromesso classico tra view virtuali e materializzate. Qui Zephon sposta il lavoro dal preprocess all’esecuzione a richiesta: meno duplicazioni del corpus, più controllo sul determinismo nella generazione dei batch, trasformazioni applicate in binding tardivo1.
Per i team, il vantaggio è pratico: si assemblano i batch dai file colonnari standard senza creare nuove copie del dataset. Una singola pipeline prepara il curriculum, il lettore prende i payload, il sistema combina tutto al momento dell’esecuzione. Il risultato riduce storage e compute legati a rimaterializzazioni ripetute1.
Il perimetro tecnico resta circoscritto alle operazioni indicate nell’annuncio. Tokenizzazione, bin-packing e mixing a livello di token sono le categorie esplicitate. Non ci sono altre estensioni o componenti descritte oltre a WorkSource per la schedulazione e ai formati Parquet e Vortex per la lettura dei payload1.
NEXT QUERY 2026, summit virtuale gratuito del 4 novembre, riunisce ingegneri di Apple, AWS, Microsoft AI, Intuit, Coinbase e AppLovin. L’agenda copre agenti AI, contesto fresco e governance, performance su larga scala e trade-off architetturali tra deployment, migrazione, prestazioni e costi2. Temi che toccano scelte concrete come streaming dei dati di training, organizzazione del curriculum e gestione del costo di storage e compute, al centro dell’annuncio di Zephon1,2.
Chi non seguirà in diretta può registrarsi per ricevere le registrazioni dopo l’evento2.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono. Valutazione su questo pezzo: 9/10.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale: superato.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica. Questo articolo ha preso 7,9/10 dopo 1 revisione.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.