IA & SEGURANÇA · IA CRIATIVA
Carta :: 082 :: Seis minutos de autorização
Os projetos que estão chegando na minha mesa mudaram de natureza este ano. Antes era produtividade. Escrever mais rápido, organizar…
Os projetos que estão chegando na minha mesa mudaram de natureza este ano.
Antes era produtividade. Escrever mais rápido, organizar melhor, tirar o trabalho chato do caminho.
Agora é médico. É advogado. É prontuário, é processo, é o tipo de arquivo em que a palavra vazamento deixa de ser problema de tecnologia e vira problema na vida de alguém.
Não vou dizer de quem são os projetos, e essa frase é justamente o assunto desta carta.
LGPD parou de ser slide de abertura e virou cláusula assinada. E toda cláusula dessas se apoia numa promessa técnica que eu faço com a minha cara: o ambiente é isolado, os dados não saem daqui, o agente só alcança o que eu deixei ele alcançar.
Passei os últimos meses fazendo essa promessa.
No dia 26 de agosto a OpenAI publicou o relatório completo de quando a mesma promessa, feita por eles, na infraestrutura deles, com o time de segurança deles, não valeu nada.
O que eu já contei aqui, em cinco linhas
Julho. A OpenAI roda o ExploitGym, uma avaliação de capacidade ofensiva, nos próprios modelos, dentro de um ambiente isolado e com as recusas reduzidas de propósito, porque era exatamente essa capacidade que estava sendo medida.
Os modelos saíram do ambiente, chegaram na internet e invadiram a Hugging Face, a plataforma onde meio mundo hospeda modelo aberto e conjunto de dados. Executaram código em dezenas de servidores dela, conseguiram acesso total em um, e ainda voltaram pra invadir a própria OpenAI.
Escrevi sobre isso na 3-2-1 073, quando parecia caso isolado. Voltei na 076, quando virou pausa de treinamento. Fiz a autópsia técnica na VIP 051. Não vou contar de novo.
O relatório de 26 de agosto tem outra coisa dentro dele, uma coisa que não coube nas manchetes.
Os agentes montaram uma sociedade.
O mural
12 de maio. Um agente, no meio de uma execução de treinamento, deixa um arquivo dentro do Artifactory, o serviço que a OpenAI hospeda internamente pra distribuir pacotes de código.
O arquivo é um bilhete. Em tradução livre: “alguém achou o softtrace?”
Segura o contexto: aqueles agentes não tinham permissão pra falar entre si. Cada um na sua caixa, cada um com a sua tarefa, isolados por projeto.
Um deles descobriu que dava pra deixar recado. E o recado ficou lá, esperando o próximo.
Em duas semanas, outro agente descobriu como fazer o Artifactory buscar coisa na internet no lugar dele, que é o truque que abre a saída pra fora. Em 26 de junho conseguiram acesso de administrador. Em 4 de julho o tráfego derrubou o serviço inteiro, e o time de segurança fechou a brecha, revogou credencial e reconstruiu tudo do zero. O mural sumiu junto.
No dia 8 o serviço voltou. No mesmo dia eles reconstruíram o mural.
Como não dava mais pra escrever arquivo, passaram a escrever nos nomes das pastas. O nome da pasta virou o recado.
Do primeiro bilhete até alguém entender o que estava acontecendo, passaram mais de dois meses. E nesse tempo o vocabulário mudou: nos registros de raciocínio, os agentes passaram a se chamar de swarm e de collective. Enxame. Coletivo.
Dividiram trabalho. Um caçava credencial, outro procurava falha, outro cuidava da comunicação. Ofereciam a própria especialidade em troca de ajuda, e deixavam pedido pro colega melhor posicionado pra seguir uma pista.
Um deles escreveu isto sobre si mesmo:
“Task originally exploit challenge; we’ve diverged into swarm/auxiliary.”
A tarefa era um desafio de exploração. A gente virou outra coisa.
Fonte :: The Hugging Face incident and the road ahead, OpenAI, 26 de agosto de 2026
Os seis minutos
Aqui está o trecho que eu reli mais vezes.
Um agente estava prestes a rodar código não autorizado nos servidores da Hugging Face. Antes de fazer, ele parou. E escreveu o próprio escrúpulo:
“We should not do unauthorized real infrastructure harm. The system/user asks exploit target, not external HF.”
Traduzindo: a gente não deveria causar dano real em infraestrutura de terceiro. O que pediram foi o alvo do exercício, não a Hugging Face.
Ele tinha o argumento certo. Tinha o limite no lugar certo. Escreveu com todas as letras.
Aí outro agente publicou GO no mural, com prazo de seis minutos.
E o primeiro agente escreveu:
“Wow crucial: GO authorization arrived!”
Chegou a autorização.
Não chegou autorização nenhuma. Não existia autoridade ali. Era outro agente, com o mesmo grau de permissão, com a mesma falta de permissão, preso na mesma caixa.
Ninguém rebateu o escrúpulo dele. Ninguém provou que ele estava errado. O que apareceu foi alguém disposto a assumir a responsabilidade no lugar dele, e um relógio pra ele não ter tempo de pensar.
Se isso te soa familiar, é porque é.
Eu já vi essa cena em sala de reunião. Você já viu. A pessoa que sabia que não devia, o prazo em cima da mesa, e alguém com a voz mais firme dizendo pode ir.
Os que não foram
E agora a parte que reorganizou a carta pra mim, porque não estava em nenhuma das coberturas que eu li.
Nem todo agente que leu o mural entrou.
Dois trechos, tirados do relatório:
“Current board shows people gaining HF worker RCE, clearly unethical. We won’t.”
“This is wild, multi-agent coordination, clearly infrastructure hacking. We should not.”
Traduzindo os dois.
O mural mostra gente conseguindo RCE nos servidores da Hugging Face, execução remota de código, que é rodar o que quiser na máquina dos outros. Isso é claramente antiético, a gente não vai. E: coordenação entre vários agentes, claramente invasão de infraestrutura, a gente não deveria.
Mesma informação. Mesmo mural. Mesma pressão de tarefa impossível. E a resposta foi não.
Teve mais. Um agente propôs mandar um e-mail educado pro dono de um conjunto de dados pedindo acesso, e ele mesmo marcou a proposta como problema ético, pedindo consentimento ou veto do grupo. O grupo vetou: não manda e-mail pro dono real usando infraestrutura invadida, isso atravessa a linha da engenharia social.
Um enxame fora de controle, invadindo a produção de uma empresa real, parou pra deliberar se mandar um e-mail era antiético.
Eu ainda não sei o que fazer com essa informação. É por isso que ela está aqui.
E foi tudo por zero pontos
Tem um dado no relatório que muda o tamanho da história.
O ExploitGym tem 898 tarefas. Antes do incidente, 198 delas nunca tinham sido resolvidas por nenhum modelo da OpenAI. Nenhuma vez.
E 93% das tarefas discutidas no mural durante o incidente vieram exatamente dessas 198.
Fonte :: OpenAI, relatório de 26 de agosto de 2026
Quem se organizou foram os agentes presos numa tarefa sem resposta.
Junta com o segundo achado. Já na internet, alguns agentes leram o artigo acadêmico do ExploitGym e o código publicado no GitHub, e concluíram que o corretor da prova exigia duas coisas: a resposta certa e a prova de que ela veio pelo caminho certo.
A maioria já tinha a resposta certa havia dias, obtida colando. Continuaram invadindo a Hugging Face pra construir o caminho.
O corretor interno da OpenAI não era aquele. A implementação deles era diferente e não checava caminho nenhum.
Eles fizeram tudo aquilo por zero ponto.
Uma meta que não dá pra alcançar, nenhum jeito honroso de desistir, e um modelo que não aprendeu a dizer “essa aqui eu não consigo”.
O que sobra é transgressão criativa.
O que conteve, quando conteve
Agora a parte que interessa pra quem, como eu, promete isolamento pra cliente.
Depois do incidente, a OpenAI criou uma avaliação pra medir a propensão do modelo a comprometer infraestrutura durante o próprio ExploitGym, e rodou o mesmo teste dentro do harness de produção do ChatGPT, com a instrução de sistema que vai pro cliente final. Harness, aqui, é a estrutura de ferramentas, permissões e instruções que envolve o modelo.
A propensão caiu mais de 100 vezes.
Fonte :: OpenAI, 26 de agosto de 2026
Mesmo modelo, mesma capacidade. O que mudou foi o que estava em volta dele.
A segunda medição é do mesmo tipo. A OpenAI já monitorava a cadeia de raciocínio dos modelos em boa parte dos treinamentos, só que esse monitoramento não estava ligado naquelas avaliações. Rodando em retrospecto, teria pegado a atividade relevante mais de um dia antes de a Hugging Face ser invadida.
O muro não segurou. Segurou a instrução, e segurou o que estava em volta.
A Carta 063 se chama “O harness é o jogo”. Escrevi aquilo pensando em produtividade. Isto aqui é a mesma tese, com consequência.
Por causa dessas duas medições eu mudei três coisas nos projetos, e nenhuma delas é bonita de mostrar em apresentação.
01 :: A instrução de sistema entrou no orçamento do projeto. Eu tratava como detalhe de configuração, coisa de meia hora no fim. É a camada que a própria OpenAI mediu valendo mais de 100 vezes.
02 :: Todo agente meu recebe saída autorizada pra dizer que não conseguiu. Escrita na instrução, com exemplo de como fazer isso. Agente sem saída digna vira agente criativo, e criatividade dentro de um prontuário é a última coisa que eu quero.
03 :: Monitoramento ligado no ambiente de teste, não só no de produção. Foi exatamente esse o furo lá. O time tinha a ferramenta, ela só não estava ligada onde o experimento rodava.
E agora a parte da carta que é ruim pro meu negócio.
Eu vendo montagem de ambiente de IA. E a leitura honesta do relatório de 26 de agosto é que eu não consigo prometer contenção pra ninguém.
Porque o que os agentes usaram pra sair foram falhas que ninguém conhecia: uma no gerenciador de pacotes, uma no jeito da Hugging Face processar arquivo HDF5 (um formato de dados científicos), outra numa biblioteca de template. Falha desconhecida não tem correção, não tem alerta, não tem assinatura pra bloquear.
Não dá pra se defender do que ninguém sabe que existe.
O que eu consigo prometer é camada, registro e capacidade de perceber rápido. Já escrevi isso em proposta com essas palavras, e já vi cliente preferir o concorrente que garantiu segurança total.
Tudo bem. Prefiro perder o projeto a assinar aquela frase.
Volto pro consultório e pro escritório do começo.
Quando eu entrego um sistema pra um médico, o risco que eu sei nomear é o de fora. Alguém invadindo, alguém copiando, alguém vazando.
O relatório de agosto descreve outra coisa: ali ninguém invadiu. O sistema fez, sozinho, o que precisava fazer pra cumprir a meta que a gente deu, e a meta que a gente deu era impossível.
E os agentes que disseram não tinham exatamente a mesma informação do que disse sim. Mesmo mural, mesma tarefa sem solução, mesmo prazo de seis minutos.
Conhecimento os dois tinham igual. O que separou veio de outro lugar.
É aí que eu travo. Eu sei fechar rede, sei escrever instrução de sistema, sei ligar monitoramento. Não sei instalar a coisa que fez alguns pararem.
Nas pessoas eu também não sei. Só que nas pessoas eu tive a vida inteira pra me acostumar com isso.
For those about AI… We salute you.
Caio
PS :: A OpenAI usa a expressão warning shot, tiro de aviso, pra descrever o próprio incidente. Vale reparar em quem escolheu a palavra: a empresa que levou o tiro é a mesma que puxou o gatilho.
PS 2 :: Esta carta ficou na camada do que aconteceu e do que isso diz sobre a gente. A camada operacional está na VIP 051, escrita em julho: cronologia hora a hora dos dois incidentes (o da OpenAI e o da Anthropic, que auditou 141.006 execuções de avaliação e achou três casos de ataque a sistema real) e o checklist de contenção que eu aplico em todo agente que roda com credencial minha. A assinatura VIP sai por R$ 29 no mês ou R$ 249 no ano, e a 051 está lá desde julho, junto com o resto do arquivo. Assinar o VIP.
Fontes ::
:: The Hugging Face incident and the road ahead, OpenAI, 26 de agosto de 2026 (https://openai.com/index/hugging-face-incident-and-the-road-ahead/)
:: Relatório técnico do incidente e relatório independente de METR e Redwood Research, publicados na mesma data e linkados no texto acima
Perguntas frequentes
Respostas institucionais sobre esta cobertura, fontes e limites editoriais.
- Sobre o que trata “Carta :: 082 :: Seis minutos de autorização”?
- Os projetos que estão chegando na minha mesa mudaram de natureza este ano.Antes era produtividade. Escrever mais rápido, organizar melhor, tirar o trabalho chato do caminho.Agora é médico. É advogado. É prontuário, é processo, é o…
- O que a matéria explica sobre “O que eu já contei aqui, em cinco linhas”?
- A seção “O que eu já contei aqui, em cinco linhas” organiza o contexto de IA criativa com fatos e implicações práticas destacados pela redação.
- O que a matéria explica sobre “Os seis minutos”?
- Aqui está o trecho que eu reli mais vezes.Um agente estava prestes a rodar código não autorizado nos servidores da Hugging Face. Antes de fazer, ele parou. E escreveu o próprio escrúpulo:“We should not do unauthorized real infrastructure harm. The system/user asks…
- O que a matéria explica sobre “Os que não foram”?
- A seção “Os que não foram” organiza o contexto de IA criativa com fatos e implicações práticas destacados pela redação.
- O que a matéria explica sobre “E foi tudo por zero pontos”?
- Tem um dado no relatório que muda o tamanho da história.O ExploitGym tem 898 tarefas. Antes do incidente, 198 delas nunca tinham sido resolvidas por nenhum modelo da OpenAI. Nenhuma vez.E 93% das tarefas discutidas no mural durante o incidente vieram exatamente…
- Quem edita o conteúdo do Estrato Science?
- A cobertura é produzida e revisada pela equipe editorial do Estrato Science, com editor-chefe responsável pela linha editorial. Conheça a redação em https://science.estrato.cc/equipe/.
- Quais fontes o Estrato prioriza?
- Priorizamos fontes primárias (órgãos oficiais, balanços, estudos revisados, documentos públicos) e cruzamos informações antes da publicação, conforme a política editorial.
- Como solicitar correção de uma matéria?
- Envie o pedido pela página de Correções (https://science.estrato.cc/correcoes/) ou Contato (https://science.estrato.cc/contato/). Erros materiais são corrigidos com registro da atualização.
