Altman氏「希少なメモリはデータセンターに置くべき」

これは、ローカルで動くオープンモデルがデータセンターの必要性を減らすのではないか、という期待に答えた発言です。また、メモリの製造は、これまで長い期間にわたって利益の出る事業になることはほとんどなかったとも語っています。Tom’s Hardwareは、OpenAIの主力事業が、自社のデータセンターで動かすクローズドモデルであることを指摘しています。

Altman氏の主張の根拠は供給です。メモリはいま不足しているのだから、1日の大半を稼働できる場所に置くべきだと述べました。

同じ週には、クラウドGPUの一部の料金も上がりました。当サイトの10月30日の確認では、Runpodのオンデマンド型サーバーレスの料金が、RTX 5090で1時間あたり1.58ドルから1.79ドルに、H100で4.79ドルから5.39ドルに上がりました。一方、時間単位のPod料金は変わっていません。

Runpodの10月30日の値上げは、リクエストの合間にカードが遊んでしまうことのあるサーバーレス層だけが対象でした。サーバーレスのRTX 5090は現在1時間あたり1.79ドルで、同じカードをSecure Cloud Podとして借りた場合は1.19ドルです。Altman氏が主張する、フル稼働での利用が報われる料金設計です。