In Breve
- Cosa è Jalapeño?
- Jalapeño è un chip sviluppato da OpenAI per migliorare le prestazioni nell'inferenza.
- Quali sono i vantaggi di Jalapeño?
- Offre un maggior numero di token per utente e una maggiore throughput per kilowatt rispetto ai concorrenti.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento è previsto entro la fine del 2026, con una distribuzione più ampia nel 2027.
OpenAI presenta Jalapeño: il chip per l’inferenza con prestazioni superiori
Durante la conferenza Hot Chips, OpenAI ha svelato Jalapeño, un chip innovativo progettato per migliorare le prestazioni nell’inferenza. I primi risultati di benchmark, condotti da Semianalysis su InferenceX, mostrano che Jalapeño offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai processori di inferenza attualmente considerati all’avanguardia.
Il confronto è stato effettuato utilizzando un sistema Nvidia Blackwell come riferimento, ma OpenAI ha avvertito che la concorrenza potrebbe evolvere prima della piena distribuzione del prodotto. Jalapeño è stato sviluppato in stretta collaborazione con Broadcom, integrando i modelli di OpenAI nel processo di progettazione. L’azienda prevede che questa piattaforma diventi multigenerazionale, capace di coordinare chip, memoria e modelli in modo efficiente.
L’architettura di Jalapeño è stata progettata per ridurre i ritardi nelle fasi di prefill e comunicazione, colli di bottiglia comuni durante l’inferenza. Il comunicato aziendale sottolinea come il design del chip minimizzi lo spostamento dei dati e i ritardi di comunicazione. “Abbiamo progettato Jalapeño per minimizzare il movimento dei dati e i ritardi nella comunicazione,” si legge nel comunicato. Ciò consente di allocare e mantenere localmente lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte, mentre il sistema attiva la combinazione adeguata di calcolo, memoria e rete per ogni fase di inferenza.
Richard Ho, responsabile hardware di OpenAI, ha commentato: “I risultati mostrano un avanzamento delle prestazioni molto significativo rispetto allo stato dell’arte. Jalapeño può gestire più lavori di intelligenza artificiale per unità di potenza, restituendo risposte più rapidamente. È molto efficiente per servire un gran numero di clienti e presenta anche una bassa latenza.”
OpenAI prevede un primo dispiegamento in volumi molto ridotti entro la fine del 2026, con una distribuzione più significativa attesa per il 2027. Questo sviluppo rappresenta un passo importante per l’azienda e per il settore dell’intelligenza artificiale, promettendo di migliorare l’efficienza energetica e le prestazioni dei sistemi di inferenza.
