OpenAI ha presentato il suo primo processore di inferenza personalizzato, Jalapeño, sviluppato in collaborazione con Broadcom. Il processore, progettato specificamente per i sistemi di inferenza di OpenAI, è stato assistito dai modelli di intelligenza artificiale dell’azienda, ha affermato la società.
Jalapeño è attualmente in fase di test, con i primi risultati che indicano prestazioni per watt significativamente migliori rispetto alle attuali alternative all’avanguardia. La partnership con Broadcom è stata annunciata ufficialmente a ottobre, con le speculazioni in corso secondo cui mira a ridurre la dipendenza di OpenAI dalle GPU di Nvidia.
Similmente a OpenAI, anche Google e Amazon hanno creato chip personalizzati chiamati “acceleratori AI” per migliorare le prestazioni di apprendimento automatico. Il presidente di OpenAI Greg Brockman ha discusso la strategia di sviluppo dei chip dell’azienda in un podcast poco dopo aver annunciato la partnership con Broadcom.
“Abbiamo una profonda conoscenza del carico di lavoro”, ha affermato Brockman. “Abbiamo davvero cercato carichi di lavoro specifici che sono sottoserviti, [e ci siamo chiesti] come possiamo costruire qualcosa che sarà in grado di accelerare ciò che è possibile?”
Il processore Jalapeño è ottimizzato per l’inferenza, che prevede l’esecuzione di modelli AI predefiniti in risposta ai comandi dell’utente. OpenAI ha evidenziato i bassi costi operativi del chip per i modelli di codifica in tempo reale. È probabile che le attività ad alta intensità di prestazioni, come la pre-formazione, continuino a fare affidamento sull’hardware Nvidia, ma la riduzione dei costi di inferenza potrebbe avere un impatto positivo sulle finanze di OpenAI.
L’ottimizzazione dei sistemi di inferenza può essere essenziale per la fattibilità economica dell’IA in futuro. OpenAI si concentra sulla creazione di vari prodotti agenti, incluso Codex, insieme ai data center necessari per la distribuzione. Il passaggio ai chip personalizzati consente all’azienda di migliorare ulteriormente la propria infrastruttura.
“OpenAI non sta solo sviluppando modelli di frontiera o costruendo prodotti sopra di essi; sta progettando l’infrastruttura sottostante: architettura dei chip, kernel, sistemi di memoria, rete, pianificazione, sistemi di distribuzione ed esperienza del prodotto”, ha affermato la società. “Poiché OpenAI opera su tutto lo stack, ogni livello può essere ottimizzato attorno allo stesso obiettivo: rendere i suoi modelli più veloci, più affidabili e più convenienti per gli utenti.”
