BigQuery interroga tabelle Iceberg di Databricks senza copiare i dati
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Con la borderless Lakehouse di Google Cloud, BigQuery legge i file Parquet scritti da Databricks usando i metadati Iceberg, eliminando la duplicazione e riducendo latenza.
Google Cloud abilita BigQuery a leggere tabelle Apache Iceberg gestite da Databricks direttamente su Google Cloud Storage, senza duplicazioni. Il risultato atteso: meno storage sprecato e meno latenza da pipeline di copia. Gli aggiornamenti diventano visibili dopo il refresh dei metadati della Lakehouse, anche ogni 5 minuti1.
Molte aziende usano più piattaforme dati: Databricks per job Apache Spark, BigQuery per analisi con alta concorrenza. Integrare questi ambienti ha spesso richiesto pipeline di copia tra sistemi. Queste pipeline aumentano i costi, introducono ritardi e frammentano i controlli di sicurezza1.
La proposta è zero‑copy. Si interroga ciò che già esiste. Databricks scrive i file una volta, i team evitano il caricamento in BigQuery. Le modifiche compaiono dopo il prossimo refresh programmato dei metadati, con una frequenza che può arrivare a 5 minuti1.
La base tecnica è Apache Iceberg. Le tabelle gestite producono metadati compatibili con Iceberg oltre ai log Delta nativi. La Lakehouse legge quei metadati e consente l’accesso ai file senza importarli. In questo modo l’engine analitico consulta gli stessi oggetti archiviati, senza copie aggiuntive1.
Il flusso operativo in sintesi:
- Databricks scrive file Parquet su Google Cloud Storage.
- Le tabelle gestite generano metadati compatibili con Iceberg.
- La Lakehouse legge i metadati per esporre i dataset.
- BigQuery interroga i file così come sono, senza ingestione1.
I dati restano in una sola copia su Google Cloud Storage. Si evita la duplicazione di storage e si limita la latenza legata ai passaggi di copia. Si riduce anche la dispersione dei controlli di sicurezza che nasce quando lo stesso dataset vive in ambienti separati1.
Il post che annuncia l’integrazione è firmato da Pramod Niralakeri, Strategic Cloud Engineer. L’autore racconta il caso tipico delle organizzazioni che combinano più piattaforme e spiega come la lettura dei metadati Iceberg consenta a BigQuery di operare senza carichi di dati, sfruttando i file già presenti1.
Il perimetro tecnico dichiarato è chiaro: Parquet su Google Cloud Storage, metadati Iceberg generati dalle tabelle gestite, lettura dei metadati da parte della Lakehouse, interrogazione in BigQuery senza caricamenti. Ulteriori dettagli e contesto sono nel post pubblicato da Google Cloud1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono. Valutazione su questo pezzo: 9/10.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale: superato.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica. Questo articolo ha preso 7,9/10 dopo 1 revisione.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.