L’ex-responsable sécurité d’OpenAI juge que la culture de l’entreprise est défaillante

Son remède s’inspire d’autres secteurs. Les laboratoires de pointe devraient, plaide-t-il, être gérés selon les normes de sûreté du nucléaire et de l’aviation, avec des sauvegardes intégrées et une planification plus lente, soutenues par de meilleures incitations extérieures à la sécurité et de meilleurs moyens de mesurer à quel point les systèmes d’IA respectent les valeurs humaines, d’après TechCrunch. Calcalist, qui lui attribue les rapports de 12 lancements de modèles de pointe, écrit qu’il veut faire passer le secteur du « lancer puis corriger » à des normes dignes de l’aviation, avec une recherche en sécurité menée avant de construire des systèmes plus puissants. « Le temps des tâtonnements est terminé », écrit-il.

Drew Pusateri, porte-parole d’OpenAI, a déclaré à TechCrunch que l’entreprise empêche ses modèles de devenir plus capables qu’elle ne peut le gérer en toute sécurité, et suspend l’entraînement ou retient des modèles quand c’est nécessaire. La tribune paraît la semaine même où OpenAI a licencié trois chercheurs en sécurité pour partage d’informations.

Pour les clients des modèles d’OpenAI, rien ne change dans le produit ; en revanche, le processus de sécurité qui les entoure est désormais débattu sur la place publique par celui qui en a rédigé les rapports.