OpenAI sfida Nvidia con Jalapeño: il nuovo chip promette IA più veloce ed efficiente
OpenAI entra direttamente nella corsa ai chip per l’intelligenza artificiale con Jalapeño, il suo primo acceleratore per inferenza progettato internamente. Secondo i risultati comunicati dall’azienda, il nuovo hardware sarebbe in grado di superare alcuni sistemi basati su acceleratori Nvidia sia sul fronte dell’efficienza energetica sia su quello della latenza.
I numeri sono significativi, ma richiedono una precisazione: si tratta di risultati pubblicati da OpenAI sulla base dei propri test. Il confronto è stato effettuato utilizzando InferenceX, benchmark pubblico sviluppato da SemiAnalysis, con tre modelli open-weight di grandi dimensioni: GPT-OSS 120B, DeepSeek R1 670B e Kimi K2.5 1T.
In base ai dati dichiarati, Jalapeño avrebbe raggiunto un’efficienza compresa tra 1,5 e 1,9 volte superiore in termini di lavoro di IA per watt al massimo throughput sostenuto, accompagnata da una riduzione della latenza end-to-end compresa tra 1,7 e 3,6 volte rispetto ai sistemi Nvidia presi come riferimento, tra cui GB300 e GB200.
Jalapeño nasce appositamente per l’inferenza
Il progetto di Jalapeño ruota attorno a uno dei problemi più importanti nell’esecuzione dei moderni modelli linguistici. L’inferenza può essere suddivisa in due fasi con esigenze hardware differenti: prefill e decode.
Durante il prefill, il sistema deve elaborare il contenuto fornito dall’utente prima di produrre una risposta. È una fase particolarmente dipendente dalla capacità di calcolo. Il decode, invece, genera progressivamente i token della risposta e risulta maggiormente sensibile alla disponibilità e alla larghezza di banda della memoria.
La sfida consiste quindi nell’ottenere elevate prestazioni in entrambe le situazioni senza ottimizzare l’hardware per una fase a discapito dell’altra.
Con Jalapeño, OpenAI sostiene di aver progettato un’architettura capace di affrontare entrambe le operazioni in maniera efficiente. Una delle strategie utilizzate consiste nel mantenere lo stato del modello, compresa la KV cache, vicino alle risorse di elaborazione che devono accedervi.
Riducendo la quantità e la distanza degli spostamenti dei dati all’interno del sistema, è possibile diminuire i tempi durante i quali le unità di calcolo rimangono inutilizzate in attesa delle informazioni necessarie.
Un approccio particolarmente importante quando l’obiettivo non è soltanto aumentare il numero complessivo di token elaborati, ma rendere più rapida la risposta percepita dall’utente.
Fino a 4,1 volte le prestazioni nei carichi più interattivi
Secondo OpenAI, il vantaggio di Jalapeño diventerebbe ancora più evidente con workload fortemente interattivi. In queste condizioni, l’azienda dichiara un miglioramento del throughput che può arrivare a 4,1 volte rispetto ai sistemi utilizzati come riferimento.
L’architettura integra inoltre direttamente le funzionalità di rete con l’obiettivo di limitare i trasferimenti di dati tra diversi chip. È un elemento importante nei grandi sistemi di inferenza distribuita, dove i ritardi nella comunicazione possono impedire alle unità di elaborazione di lavorare continuamente alla massima capacità.
Il problema assume ancora più rilevanza con gli agenti di intelligenza artificiale. Questi sistemi possono richiedere numerosi passaggi di inferenza eseguiti in sequenza: anche un ritardo apparentemente ridotto, se ripetuto molte volte, finisce per incidere sensibilmente sul tempo necessario per completare un’attività.
Sul piano energetico, Jalapeño presenta una potenza nominale di 700 W. OpenAI afferma tuttavia che, durante i benchmark, il consumo sostenuto è rimasto a 550 W o meno.
Nel test con Kimi K2.5 1T, in particolare, l’azienda riporta circa 1,5 volte il throughput massimo per watt e una latenza 3,4 volte inferiore rispetto al sistema di riferimento.
Leggi anche:
L’intelligenza artificiale ha contribuito a progettare il chip
Uno degli aspetti più particolari del progetto riguarda il modo in cui Jalapeño è stato sviluppato. OpenAI ha utilizzato i propri modelli di IA anche durante il processo di progettazione dell’acceleratore.
Gli strumenti dell’azienda hanno assistito gli ingegneri nell’esplorazione di differenti implementazioni, nell’ottimizzazione dei circuiti aritmetici e nella riduzione dei tempi necessari per alcuni cicli di progettazione e verifica.
Secondo quanto dichiarato dalla società, il team è passato dal progetto iniziale al tapeout in nove mesi, una tempistica particolarmente aggressiva per lo sviluppo di un nuovo acceleratore.
OpenAI ha successivamente impiegato Codex con GPT-Astra per adattare a Jalapeño tre modelli open-weight che inizialmente non facevano parte del piano di produzione. L’azienda sostiene che siano stati portati a livelli elevati di prestazioni nel giro di due mesi.
Per alcuni blocchi di attention e Mixture of Experts utilizzati da GPT-OSS, le implementazioni ottenute con l’assistenza dell’IA sarebbero risultate tra 1,5 e 1,8 volte più veloci rispetto a quelle realizzate dagli ingegneri.
Il dato, però, non deve essere interpretato come un’accelerazione equivalente dell’intero modello: OpenAI precisa infatti che il confronto riguarda singoli blocchi di calcolo, non l’esecuzione completa dei modelli.
OpenAI vuole portare Jalapeño nei suoi data center entro il 2026
Jalapeño non viene presentato come un semplice esperimento. OpenAI prevede di integrarlo nella propria infrastruttura di calcolo entro la fine del 2026, con l’obiettivo di utilizzarlo per rendere l’inferenza dei propri sistemi più veloce ed efficiente.
Il primo chip rappresenterebbe inoltre soltanto l’inizio. L’azienda descrive Jalapeño come la prima generazione di una roadmap composta da più generazioni, con progetti di seconda e terza generazione già in fase di sviluppo.
La posta in gioco va oltre il confronto prestazionale con Nvidia. Per un’azienda che utilizza enormi quantità di capacità computazionale, migliorare anche di poco il rapporto tra prestazioni, latenza e consumi può avere conseguenze significative sui costi e sulla quantità di infrastruttura necessaria.
I risultati dichiarati da OpenAI indicano vantaggi considerevoli, ma sarà il confronto su larga scala e in condizioni operative reali a mostrare quanto Jalapeño possa effettivamente cambiare gli equilibri dell’hardware dedicato all’IA.
Se le prestazioni pubblicate dovessero trovare conferma nell’impiego quotidiano, il nuovo chip rappresenterebbe soprattutto un passo importante verso una OpenAI meno dipendente da acceleratori progettati da terze parti e maggiormente capace di sviluppare hardware specificamente ottimizzato per i propri modelli e servizi.
Ti potrebbe interessare:
Segui guruhitech su:
- Google News: bit.ly/gurugooglenews
- Telegram: t.me/guruhitech
- Facebook: facebook.com/guruhitechfb
- Instagram: instagram.com/guruhitech_official/
- X (Twitter): x.com/guruhitech1
- Bluesky: bsky.app/profile/guruhitech.bsky.social
- Rumble: rumble.com/user/guruhitech
- VKontakte: vk.com/guruhitech
- MeWe: mewe.com/i/guruhitech
- Skype: live:.cid.d4cf3836b772da8a
- WhatsApp: bit.ly/whatsappguruhitech
Esprimi il tuo parere!
Che ne pensi di questa notizia? Lascia un commento nell’apposita sezione che trovi più in basso e se ti va, iscriviti alla newsletter.
Per qualsiasi domanda, informazione o assistenza nel mondo della tecnologia, puoi inviare una email all’indirizzo [email protected].
Scopri di più da GuruHiTech
Abbonati per ricevere gli ultimi articoli inviati alla tua e-mail.