元OpenAI安全責任者、同社の文化は「壊れている」と指摘

同氏が示す処方箋は、他の産業に倣ったものです。TechCrunchによると、最先端のラボは原子力や航空の安全基準で運営し、バックアップを組み込んで計画に時間をかけるべきだとし、そのために安全に向けた外部からのインセンティブを強め、AIシステムが人間の価値観にどこまで沿っているかをよりよく測る方法も必要だと主張しています。Calcalistは、同氏が12件の最先端モデルのリリースに関するレポートを手がけたと伝え、業界には「出してから直す」やり方から、能力の高いシステムを作る前に安全研究を済ませる航空並みの基準への移行を求めていると書いています。「試行錯誤の時代は終わった」と同氏は記しています。

OpenAIのDrew Pusateri広報担当者はTechCrunchに対し、同社は安全に管理できる水準を超えてモデルの能力が高まらないようにしており、必要なときは訓練を止めたりモデルの公開を見送ったりしていると述べました。このエッセイが出たのは、OpenAIが情報共有を理由に安全研究者3人を解雇したのと同じ週です。

OpenAIのモデルを利用する企業にとって、製品自体に変わりはありません。変わったのは、その背後にある安全対策のあり方を、安全性レポートを書いてきた当人が公の場で論じ始めたことです。