Mitchell Hashimoto mostra throughput tra 1.3.1, 1.4.0 e main e promette il backport in 1.4.1. Il punto tecnico più incisivo è sul pty: la rilevazione SIMD di ASCII puro consente di processare direttamente dal buffer di lettura senza allargare a codepoint, quindi senza la copia e l’espansione a 32 bit. In stampa il percorso veloce copre anche caratteri a larghezze miste e link, e l’allocazione delle pagine si adatta all’uso recente.

Chi genera molto output ottiene latenza più bassa e più stabile sui flussi ASCII perché la pipeline evita una copia costosa. La redazione giudica la direzione giusta e credibile, alla luce della storia tecnica dell’autore. Il rischio sta nei bordi Unicode, che vanno testati su casi reali. Il beneficio netto si vede nelle compilazioni verbose.

Sebastian Raschka elenca dieci architetture LLM aperte uscite a ottobre, «Open October». Pesa perché Raschka, autore sull’implementazione degli LLM da zero, osserva cosa entra davvero nei modelli. Finora l’open source ha camminato su strade simili a Llama, qui si vedono scelte strutturali diverse e simultanee.

Per chi costruisce o serve modelli la toolchain diventa il collo di bottiglia. Ogni variante di attenzione o MoE chiede kernel, pianificatori e cache diversi, quindi o si standardizza su un runtime che copre queste differenze con costi noti, oppure si accetta il debito di mantenere percorsi speciali a ogni release. Giudizio della redazione: il segnale è utile, ma senza valutazioni comparabili e supporto stabile nei runtime queste idee restano difficili da portare in produzione.