Simon Willison rilascia condense-json 1.0 per ridurre stringhe duplicate nei JSON

Simon Willison ha pubblicato condense-json 1.0, una libreria che compatta i JSON sostituendo stringhe o sottostringhe ricorrenti con riferimenti e permette di invertire l’operazione per tornare all’originale¹.

La libreria prende un JSON di input e un oggetto di sostituzioni. Scansiona tutte le stringhe nel documento, anche in oggetti annidati e array. Cerca le corrispondenze definite nell’oggetto e le rimpiazza con una forma compatta {"$r": [...]}. I pezzi variabili restano testo letterale. I segmenti ripetuti diventano riferimenti con la sintassi {"$": ""}. La trasformazione è reversibile: con uncondense_json(condensed, replacements) si ricostruisce l’input usando lo stesso oggetto di sostituzioni¹.

Esempio dal README. Input:

{
  "foo": {
    "bar": {
      "string": "This is a string with foxes in it",
      "nested": {
        "more": ["Here is a string", "another with foxes in it too"]
      }
    }
  }
}

Oggetto di sostituzioni:

{"1": "with foxes in it"}

Output di condense_json(input_json, replacements):

{
  "foo": {
    "bar": {
      "string": {"$r": ["This is a string ", {"$": "1"}]},
      "nested": {
        "more": ["Here is a string", {"$r": ["another ", {"$": "1"}, " too"]}]
      }
    }
  }
}

In questo esempio, la sottostringa “with foxes in it” è associata alla chiave "1" nell’oggetto di sostituzioni. Le occorrenze nel JSON diventano sequenze che combinano testo letterale e riferimenti {"$": "1"} all’interno di {"$r": [...]}. Le stringhe senza corrispondenze restano inalterate. Con uncondense_json(...), la libreria ripristina le stringhe originali usando lo stesso oggetto di sostituzioni¹.

Il modello d’uso è semplice: si definiscono a priori le sottostringhe che conviene comprimere. La libreria applica quella mappa in modo consistente sull’intero documento. Il vantaggio emerge quando molte stringhe ripetono gli stessi segmenti. L’encoding compatto sostituisce quelle ripetizioni con token brevi, preservando la capacità di tornare al JSON iniziale¹.

Willison indica un caso d’uso concreto: ridurre lo spazio dei log in SQLite generati da modelli linguistici. Rimanda a “PR #1586” per seguire lo stato più recente del lavoro su quel fronte¹.

Nel presentare la 1.0, Willison scrive di aver raccolto correzioni “sensate e non dirompenti” prima del rilascio e di voler essere più deciso nel marchiare come 1.0 progetti già maturi¹. Per condense-json, questo significa una prima versione stabile senza cambiamenti radicali al comportamento dichiarato¹.

La scelta di usare riferimenti espliciti nel JSON, invece di un formato binario, rende l’output leggibile e facile da ispezionare nei diff e nei log. È un dettaglio che aiuta chi integra la libreria in pipeline e strumenti esistenti¹.