Selon Altman, la mémoire rare a sa place dans les datacenters

Il répondait à l'espoir que des modèles ouverts exécutés en local réduisent le besoin de datacenters. Altman a aussi dit dans le podcast que fabriquer de la mémoire avait rarement été une bonne affaire sur la durée, jusqu'à présent. Tom's Hardware rappelle que l'activité principale d'OpenAI repose sur des modèles fermés, exécutés dans ses propres datacenters.

Son raisonnement repose sur l'offre : la mémoire est rare en ce moment, dit-il, elle doit donc se trouver là où elle sert presque toute la journée.

Certains tarifs de GPU dans le cloud ont aussi augmenté la même semaine. Lors de notre vérification du 30 octobre, le tarif serverless à la demande de Runpod pour une RTX 5090 est passé de 1,58 $ à 1,79 $ de l'heure, et celui du H100 de 4,79 $ à 5,39 $, tandis que ses tarifs horaires en Pod n'ont pas bougé.

La hausse de Runpod du 30 octobre ne touche que l'offre serverless, où une carte peut rester inactive entre deux requêtes : une RTX 5090 serverless coûte désormais 1,79 $ de l'heure, contre 1,19 $ pour la même carte louée en Pod Secure Cloud, qui récompense l'usage permanent défendu par Altman.