Ex-OpenAI-Sicherheitsleiter sagt: Firmenkultur ist kaputt

Seine Abhilfe lehnt sich an andere Branchen an. Frontier-Labore sollten, so seine Argumentation, nach den Sicherheitsstandards von Atomkraft und Luftfahrt geführt werden, mit eingebauten Backups und langsamerer Planung, gestützt durch stärkere externe Anreize für Sicherheit und bessere Methoden, um zu messen, wie weit KI-Systeme mit menschlichen Werten übereinstimmen, laut TechCrunch. Calcalist, das ihm Berichte zu 12 Starts von Frontier-Modellen zuschreibt, schreibt, er wolle, dass die Branche vom Veröffentlichen und Nachbessern zu Standards wie in der Luftfahrt übergeht, wobei Sicherheitsforschung stattfindet, bevor leistungsfähigere Systeme gebaut werden. Die Zeit von Versuch und Irrtum sei vorbei, schreibt er.

OpenAI-Sprecher Drew Pusateri sagte TechCrunch, das Unternehmen halte seine Modelle davon ab, leistungsfähiger zu werden, als es sicher handhaben kann, und pausiere das Training oder halte Modelle zurück, wenn es nötig sei. Der Essay fällt in die Woche, in der OpenAI drei Sicherheitsforscher entließ, und zwar wegen weitergegebener Informationen.

Wer die Modelle von OpenAI kauft, merkt am Produkt keine Änderung; der Sicherheitsprozess dahinter wird nun öffentlich von der Person verhandelt, die seine Sicherheitsberichte geschrieben hat.