OpenAI explora alternativas à Nvidia para inferência de IA, testa hardware da Cerebras e da Groq

De acordo com fontes internas via Reuters, a OpenAI vem testando ativamente hardware de aceleradores de IA da Cerebras Systems e da Groq desde o fim de 2025 como possíveis alternativas às GPUs da Nvidia para cargas de trabalho de inferência. Embora as GPUs H100 da Nvidia e a próxima arquitetura Blackwell continuem dominantes no treinamento de grandes modelos de linguagem, a empresa parece insatisfeita com certos aspectos das ofertas da Nvidia específicas para inferência, como a L40S e as futuras GPUs de inferência L4.

O Que Há de Novo

1. Diferenças de Arquitetura:

   • O CS-3 da Cerebras usa tecnologia em escala de wafer com 900.000 núcleos otimizados para padrões esparsos de atenção comuns na inferência de transformers
   • O LPU da Groq emprega uma arquitetura de execução determinística que afirma entregar 750+ tokens/segundo no Llama 70B
   • Ambas as arquiteturas evitam a dependência da CUDA da Nvidia por meio de pilhas de software personalizadas

2. Preocupações com Desempenho por Watt: Benchmarks iniciais sugerem que o sistema CS-3 de 15 kW da Cerebras oferece throughput comparável ao cluster DGX H100 de 10 kW da Nvidia para certas tarefas de inferência, enquanto a arquitetura da Groq mostra vantagens de latência em benchmarks públicos para tamanhos de lote menores.

3. Custo Total de Propriedade: A exploração da OpenAI ocorre enquanto provedores de nuvem cobram de US$ 1,50 a US$ 4,00/hora por instâncias únicas de H100. A Cerebras oferece preços on-premises de US$ 2 a 3 milhões por sistema, enquanto a API em nuvem da Groq custa US$ 0,27/milhão de tokens para o Mixtral 8x7B.

Limitações Técnicas

• Ecossistema de Software: Nenhuma das alternativas iguala a maturidade da CUDA - a Cerebras exige o uso do SDK semelhante ao da Graphcore, enquanto os desenvolvedores da Groq trabalham com suporte limitado a ONNX
• Compatibilidade de Modelos: Os maiores modelos da OpenAI (classe GPT-4) ainda exigem GPUs Nvidia para desempenho ideal devido a restrições de largura de banda de memória
• Desafios de Escala: Os sistemas em escala de wafer da Cerebras exigem infraestrutura de resfriamento especializada, incomum em data centers comerciais

Contexto da Indústria

Esse movimento se alinha a tendências mais amplas do setor:

1. A Microsoft Azure, principal provedora de nuvem da OpenAI, ampliou suas ofertas de AMD MI300X
2. A Amazon Web Services continua promovendo chips Trainium e Inferentia
3. A Graphcore recentemente fez parceria com a empresa de Jony Ive em hardware de IA de próxima geração

Implicações Práticas

Embora a Nvidia mantenha cerca de ~98% de participação de mercado em GPUs para data center (Counterpoint Research Q4 2025), a exploração da OpenAI sinaliza:

1. Tendência de Especialização: Diferentes arquiteturas de hardware surgindo para cargas de trabalho de treinamento vs inferência
2. Pressão de Custos: Empresas de IA buscando alternativas à medida que os custos de serving de modelos consomem 70-80% dos orçamentos operacionais
3. Integração Vertical: Potencial para a OpenAI seguir Google/Amazon no desenvolvimento de silício customizado no longo prazo

Considerações Financeiras

Os testes de hardware da OpenAI coincidem com relatos de aumento nos custos de infraestrutura:

• Operar o ChatGPT supostamente custa cerca de US$ 700.000 por dia
• Os custos de inferência do GPT-4 são estimados em US$ 0,06/1k tokens
• O H200 da Nvidia cobra um prêmio de ~40% sobre o H100 apesar de uma arquitetura semelhante

Conclusão

Embora a Nvidia continue inevitável para treinamento em grande escala, o mercado de inferência mostra sinais de fragmentação. Os testes da OpenAI com arquiteturas alternativas refletem preocupações práticas de engenharia, e não uma rejeição ideológica da CUDA. No entanto, considerando as melhorias recentes da arquitetura Blackwell da Nvidia e a profunda integração da tecnologia da Nvidia no Azure pela Microsoft, qualquer transição em larga escala parece improvável antes de 2027.