TensorFold accelera l’intelligenza artificiale locale: fino a 874 token al secondo senza cloud
Immagina di utilizzare un assistente basato sull’intelligenza artificiale senza dover inviare continuamente le tue richieste a un server remoto. Il modello gira sul tuo computer, i dati possono rimanere sotto il tuo controllo e le risposte arrivano rapidamente. È questa la direzione in cui si muove TensorFold, un motore open source sviluppato da Ash Hart per accelerare l’esecuzione dei modelli linguistici su Mac con Apple Silicon e computer dotati di GPU NVIDIA.
Il progetto ha attirato attenzione grazie a risultati prestazionali ambiziosi: in una configurazione specifica con NVIDIA RTX PRO 6000 Blackwell e il modello Nemotron 3.5 Lightning, gli sviluppatori dichiarano di aver raggiunto 874 token generati al secondo. È un numero notevole, ma va letto nel suo contesto: dipende dall’hardware, dal modello, dalle impostazioni di decodifica e dal carico di lavoro. Non significa che ogni computer possa ottenere automaticamente la stessa velocità.
Che cos’è TensorFold e perché è diverso da un chatbot
TensorFold non è un nuovo modello di intelligenza artificiale addestrato da zero e non è un chatbot concorrente di ChatGPT. È un motore di inferenza, cioè il software che carica un modello linguistico già esistente e lo esegue sull’hardware disponibile. In altre parole, cerca di sfruttare meglio il processore grafico per ottenere risposte più rapidamente.
Il motore è scritto nel linguaggio Zig e utilizza direttamente Metal sui Mac compatibili e CUDA sui sistemi NVIDIA supportati. Per servire i modelli non richiede necessariamente un’installazione di Python o MLX, anche se può utilizzare checkpoint distribuiti in formati associati all’ecosistema MLX.
Il codice sorgente è disponibile su GitHub con licenza Apache 2.0. TensorFold offre inoltre endpoint compatibili con le API di OpenAI e Anthropic, permettendo ad applicazioni e strumenti di sviluppo di comunicare con un modello locale attraverso interfacce già conosciute.
Come fa a generare testo più velocemente
Una delle tecniche centrali è la speculative decoding, o decodifica speculativa. Normalmente un modello linguistico produce una sequenza di token, verificando passo dopo passo quale elemento generare successivamente. TensorFold può utilizzare un sistema di proposta che anticipa diversi token, mentre il modello principale controlla quali proposte siano corrette.
Quando la verifica ha successo, più token possono essere accettati in un’unica fase, riducendo il tempo necessario per generare una risposta. Il progetto combina questa tecnica con l’elaborazione parallela, il riutilizzo dello stato dei prompt e ottimizzazioni specifiche per le GPU supportate.
Gli sviluppatori sottolineano un aspetto importante: nelle condizioni di confronto previste, la modalità accelerata è progettata per restituire la stessa sequenza di token che produrrebbe la decodifica seriale con gli stessi pesi e le stesse impostazioni. Questa garanzia non significa che un modello quantizzato restituisca necessariamente le stesse risposte della versione originale o che risultati ottenuti su hardware differenti siano identici.
874 token al secondo: quanto è significativo il risultato
Il sito ufficiale di TensorFold riporta 874 token al secondo con Nemotron 3.5 Lightning su una RTX PRO 6000 Blackwell, utilizzando una configurazione di decodifica con drafting. È un benchmark pubblicato dal progetto e riferito a una combinazione ben precisa di modello, GPU e parametri.
Un risultato di questo tipo dimostra che l’ottimizzazione del software può incidere notevolmente sulle prestazioni dell’intelligenza artificiale locale. Non costituisce però un confronto universale con tutti gli altri motori: in alcune prove con una sola richiesta TensorFold è risultato più rapido di vLLM, mentre con più richieste simultanee il throughput complessivo può essere inferiore.
Per valutare correttamente un motore di inferenza occorre quindi considerare non soltanto il numero massimo di token al secondo, ma anche la latenza iniziale, il consumo di memoria, il numero di utenti simultanei e la qualità delle risposte.
Leggi anche:
L’intelligenza artificiale locale arriva su Mac e Linux
TensorFold supporta configurazioni selezionate di Apple Silicon e GPU NVIDIA. Sul Mac è disponibile un’applicazione in versione beta, mentre per l’uso da terminale sono pubblicate istruzioni di installazione e distribuzioni per piattaforme compatibili. Su Linux con GPU NVIDIA sono richiesti driver e librerie CUDA appropriati.
Per iniziare, la documentazione ufficiale propone anche modelli relativamente piccoli, come Qwen3.5-2B in versione quantizzata a 4 bit. La scelta del modello deve comunque rispettare i limiti di memoria e le combinazioni hardware effettivamente testate.
Un altro aspetto interessante è la possibilità, in scenari supportati, di distribuire il lavoro tra due Mac. Non significa che qualsiasi coppia di computer possa essere collegata senza configurazione: le prestazioni dipendono dai dispositivi, dai collegamenti e dal modello utilizzato.
Privacy, controllo dei dati e limiti da conoscere
Eseguire un modello localmente può offrire vantaggi concreti. I prompt e i documenti possono essere elaborati sulla propria infrastruttura, senza doverli inviare automaticamente a un fornitore cloud. Questo è interessante per chi lavora con codice, documenti aziendali o informazioni riservate.
Tuttavia, locale non significa automaticamente sicuro. Se un’applicazione è collegata a servizi esterni, utilizza strumenti di ricerca online o espone le proprie API sulla rete, alcuni dati potrebbero comunque uscire dal dispositivo. È necessario configurare correttamente autenticazione, permessi e accessi.
Inoltre, il motore di inferenza non rende un modello più intelligente: può eseguirlo più rapidamente, ma accuratezza, conoscenze e capacità di ragionamento dipendono principalmente dal modello scelto.
TensorFold dimostra che l’IA non deve vivere soltanto nel cloud
Il progetto di Ash Hart rappresenta un esempio interessante di come software specializzato e hardware già disponibile possano rendere più praticabile l’intelligenza artificiale locale. Non tutti potranno ottenere i risultati delle GPU professionali utilizzate nei benchmark, ma il miglioramento degli strumenti di inferenza può ridurre la distanza tra i servizi remoti e i modelli eseguiti in casa o in azienda.
Per chi vuole sperimentare, il punto di partenza è la documentazione ufficiale, dove sono elencati modelli supportati, requisiti e istruzioni. La sfida per TensorFold sarà trasformare risultati promettenti in prestazioni affidabili su un numero crescente di computer e applicazioni reali.
Ti potrebbe interessare:
Segui guruhitech su:
- Google News: bit.ly/gurugooglenews
- Telegram: t.me/guruhitech
- Facebook: facebook.com/guruhitechfb
- Instagram: instagram.com/guruhitech_official/
- X (Twitter): x.com/guruhitech1
- Bluesky: bsky.app/profile/guruhitech.bsky.social
- Rumble: rumble.com/user/guruhitech
- VKontakte: vk.com/guruhitech
- MeWe: mewe.com/i/guruhitech
- Skype: live:.cid.d4cf3836b772da8a
- WhatsApp: bit.ly/whatsappguruhitech
Esprimi il tuo parere!
Che ne pensi di questa notizia? Lascia un commento nell’apposita sezione che trovi più in basso e se ti va, iscriviti alla newsletter.
Per qualsiasi domanda, informazione o assistenza nel mondo della tecnologia, puoi inviare una email all’indirizzo [email protected].
Scopri di più da GuruHiTech
Abbonati per ricevere gli ultimi articoli inviati alla tua e-mail.