Ex-líder de segurança da OpenAI diz que a cultura da empresa está quebrada

A solução dele vem de outros setores. Os laboratórios de ponta, argumenta, deveriam ser administrados com os padrões de segurança da energia nuclear e da aviação, com sistemas de reserva embutidos e planejamento mais lento, amparados por incentivos externos mais fortes à segurança e por formas melhores de medir o quanto os sistemas de IA se alinham aos valores humanos, segundo o TechCrunch. O Calcalist, que lhe atribui relatórios de 12 lançamentos de modelos de ponta, diz que ele quer que o setor deixe de lançar e corrigir depois e passe a seguir padrões como os da aviação, com pesquisa de segurança feita antes de construir sistemas mais capazes. “O tempo da tentativa e erro acabou”, escreve.

O porta-voz da OpenAI Drew Pusateri disse ao TechCrunch que a empresa não deixa seus modelos se tornarem mais capazes do que consegue gerenciar com segurança e que pausa o treinamento ou segura modelos quando necessário. O ensaio sai na mesma semana em que a OpenAI demitiu três pesquisadores de segurança por compartilharem informações.

Para quem compra os modelos da OpenAI, nada muda no produto; o processo de segurança por trás deles agora é debatido em público por quem escreveu seus relatórios de segurança.