A OpenAI prometeu dedicar 20% de seu poder computacional para combater os tipos mais perigosos de IA, mas nunca cumpriu

Agora, menos de um ano depois, essa equipe, chamada Superalignment, se desfez em meio a demissões de funcionários e acusações de que a OpenAI está priorizando o lançamento de produtos em vez da segurança da IA. De acordo com seis fontes familiarizadas com o trabalho da equipe OpenAI Superalignment, a OpenAI nunca cumpriu seu compromisso de fornecer à equipe 20% de seu poder computacional.

Em vez disso, segundo fontes, a equipa viu repetidamente os seus pedidos de acesso a unidades de processamento gráfico, chips de computador especializados necessários para treinar e executar aplicações de IA, rejeitados pela liderança da OpenAI, embora o orçamento global de computação da equipa nunca tenha chegado perto do que foi solicitado. Foi prometido um limite de 20%.

Estas descobertas levantam questões sobre a seriedade com que a OpenAI leva o seu compromisso público e se outros compromissos públicos que a empresa assume devem ser confiáveis. A OpenAI não respondeu aos pedidos de comentários sobre esta história.

A empresa está atualmente enfrentando reações adversas pelo uso da voz em seus recursos de geração de fala baseados em IA, que têm uma notável semelhança com os da atriz Scarlett Johansson. Neste caso, foram levantadas questões sobre a credibilidade das declarações públicas da OpenAI de que a semelhança entre a voz da IA ​​que chama de “Sky” e a de Johansson é mera coincidência. Johansson diz que Sam Altman, cofundador e CEO da OpenAI, a contatou em setembro passado, quando a voz de Sky estreou, e pediu permissão para usar sua voz. Eu recusei. Ela diz que Altman pediu novamente permissão para usar sua voz na semana passada, pouco antes de uma demonstração do mais recente modelo GPT-4o, que usa a voz da Sky. A OpenAI negou ter usado a voz de Johansson sem sua permissão, dizendo que pagou uma atriz profissional, que afirma não poder revelar legalmente, para criar a Sky. Mas as afirmações de Johansson agora lançam dúvidas sobre isso, com alguns especulando nas redes sociais que a OpenAI realmente clonou a voz de Johansson ou talvez misturou a voz de outra atriz com a de Johansson de alguma forma para criar Sky.

A equipe OpenAI Superalignment foi criada sob a liderança de Ilya Sutskever, cofundador da OpenAI e ex-cientista-chefe, cuja saída da empresa foi anunciada na semana passada. Jan Laecke, pesquisador de longa data da OpenAI, co-liderou a equipe. Ele anunciou sua renúncia na sexta-feira, dois dias após a saída de Sutskever. A empresa informou então aos restantes colaboradores da equipa, cerca de 25 pessoas, que esta estava a ser dissolvida e que seriam realocados dentro da empresa.

Foi uma queda vertiginosa para uma equipe cujo trabalho, há menos de um ano, a OpenAI considerou vital para a empresa e importante para o futuro da civilização. Superinteligência é a ideia de um futuro hipotético sistema de inteligência artificial que será mais inteligente do que todos os humanos juntos. É uma tecnologia que iria além do objetivo declarado da empresa de criar inteligência artificial geral, ou AGI – um sistema único de IA que é tão inteligente quanto qualquer pessoa.

Superinteligência, Inc. Ele disse ao anunciar a equipePoderia representar uma ameaça existencial para a humanidade ao tentar matar ou escravizar pessoas. “Não temos solução para orientar e controlar a IA potencialmente superinteligente e evitar que ela se torne desonesta”, disse a OpenAI em seu anúncio. A equipe do Superalignment deveria pesquisar essas soluções.

Foi uma missão tão importante que a empresa disse no seu anúncio que dedicaria “20% da computação que adquirimos até agora nos próximos quatro anos” ao esforço.

Mas seis fontes familiarizadas com o trabalho da equipe do Superalignment disseram que tal computação nunca foi atribuída ao grupo. Em vez disso, recebeu um valor muito inferior ao orçamento normal de alocação de computação da empresa, que é reavaliado a cada três meses.

Não houve nenhuma métrica clara sobre como calcular exatamente os 20%, o que o torna aberto a amplas interpretações, disse uma fonte familiarizada com o trabalho da equipe do Superalinhamento. Por exemplo, a fonte disse que a equipe nunca foi informada se a promessa significava “20% ao ano durante quatro anos”, “5% ao ano durante quatro anos” ou algum valor variável que poderia acabar sendo “1% ou 2% .”% durante quatro anos” nos primeiros três anos, depois a maior parte do compromisso no quarto ano. De qualquer forma, todas as fontes sorte Esta história confirmou que a equipe do Superalignment nunca conseguiu nada perto de 20% da computação segura do OpenAI em julho de 2023.

Os pesquisadores da OpenAI também podem enviar solicitações para o que é conhecido como computação “elástica” – acesso a capacidade adicional de GPU além do orçado – para lidar com novos projetos entre as reuniões orçamentárias trimestrais. Mas estas fontes disseram que os pedidos flexíveis da equipa do Superalinhamento eram rotineiramente rejeitados por altos funcionários.

Bob McGraw, vice-presidente de pesquisa da OpenAI, foi o executivo que informou a equipe sobre a rejeição desses pedidos, mas outras pessoas na empresa, incluindo a CTO Mira Moratti, estiveram envolvidas na tomada das decisões, disseram as fontes. Nem McGraw nem Moratti responderam aos pedidos de comentários para esta história.

Enquanto a equipe fazia algumas pesquisas, foi lançado papel Detalhando suas experiências ao conseguir um modelo de IA menos poderoso para controlar um modelo mais poderoso em dezembro de 2023, disse a fonte, a falta de computação frustrou as ideias mais ambiciosas da equipe.

Após sua demissão, Laike fez na sexta-feira uma série de postagens no X (antigo Twitter) nas quais criticava seu antigo empregador, dizendo: “A cultura e os processos de segurança ficaram em segundo plano em relação aos produtos brilhantes”. Ele também disse: “Nos últimos meses, minha equipe tem navegado contra o vento. Às vezes, tínhamos dificuldade para calcular e concluir esta importante pesquisa estava se tornando cada vez mais difícil.

Cinco fontes familiarizadas com o trabalho da equipe do Superalignment apoiaram o relato de Leike, dizendo que os problemas de acesso à computação pioraram após o impasse pré-Ação de Graças entre Altman e o conselho de administração da organização sem fins lucrativos OpenAI.

Sutskever, que era membro do conselho, votou pela demissão de Altman e foi a pessoa escolhida pelo conselho para informar Altman da notícia. Quando os funcionários da OpenAI se rebelaram em resposta à decisão, Sutskever postou mais tarde no X que “lamenta profundamente” seu envolvimento na demissão de Altman. No final das contas, Altman foi renomeado e Sutskever e vários outros membros do conselho envolvidos em sua destituição deixaram o conselho. Sutskever nunca mais voltou a trabalhar na OpenAI depois que Altman foi recontratado, mas só deixou oficialmente a empresa na semana passada.

Uma fonte discordou do método das outras fontes sorte Ela falou sobre os problemas de computação enfrentados pelo Superalignment, dizendo que eles eram anteriores ao envolvimento de Sutskever no golpe fracassado, que atormentou o grupo desde o início.

Embora houvesse alguns relatos de que Sutskever continuava a co-liderar a equipe de Superalinhamento remotamente, fontes familiarizadas com o trabalho da equipe disseram que não era o caso e que Sutskever não teve acesso ao trabalho da equipe e não desempenhou nenhum papel na direção da equipe depois disso. . Ação de graças.

Com a saída de Sutskever, a equipe do Superalinhamento perdeu a única pessoa da equipe que tinha capital político suficiente dentro da organização para defender com sucesso a apropriação da computação, disseram as fontes.

Além de Leike e Sutskever, a OpenAI perdeu pelo menos seis outros pesquisadores de segurança de IA de várias equipes nos últimos meses. Um dos pesquisadores, Daniel Cocotaylo, disse ao site de notícias Vox que “gradualmente perdeu a confiança na liderança da OpenAI e em sua capacidade de lidar com AGI com responsabilidade, então renunciei”.

Em resposta aos comentários de Leike, Altman e o cofundador Greg Brockman, que é o presidente da OpenAI, postaram em [Leike] Por tudo que ele fez pela OpenAI. Os dois escreveram ainda: “Precisamos continuar a elevar o nível do nosso trabalho de segurança para corresponder aos riscos de cada novo modelo”.

Eles então ofereceram sua visão sobre a abordagem da empresa para a segurança futura da IA, que incluirá um foco muito maior em testar modelos atualmente em desenvolvimento, em vez de tentar desenvolver abordagens teóricas sobre como tornar seguros modelos futuros mais poderosos. “Precisamos de um ciclo de feedback muito rígido, testes rigorosos, consideração cuidadosa em cada etapa, segurança de classe mundial e harmonia entre segurança e capacidades”, escreveram Brockman e Altman, acrescentando que “a compreensão experiencial pode ajudar a determinar o caminho a seguir”.

As pessoas com quem eles conversaram sorte Fizeram-no anonimamente, ou porque disseram temer perder os seus empregos, ou porque temiam perder ações adquiridas na empresa, ou ambos. Os funcionários que deixaram a OpenAI foram forçados a assinar acordos de separação que incluíam uma cláusula estrita de não depreciação afirmando que a empresa poderia resgatar suas ações adquiridas se criticassem publicamente a empresa, ou mesmo se admitissem que a cláusula existia. Os funcionários foram informados de que quem se recusar a assinar o acordo de separação também perderá suas ações.

Depois da Raposa mencionado Em relação a estes termos de separação, Altman postou no X que não tinha conhecimento desta cláusula e estava “muito envergonhado” com este facto. Ele disse que a OpenAI nunca tentou fazer cumprir a cláusula e recuperar ações adquiridas para ninguém. Ele disse que a empresa está em processo de atualização de seus documentos de saída para “consertar” o problema e que quaisquer ex-funcionários que estivessem preocupados com as disposições dos papéis de saída que assinaram poderiam contatá-los diretamente sobre o assunto e eles seriam alterados.