Pular para o conteúdo principal

Anthropic: CoT de simulação não prova que o modelo acreditou nisso

· 4 min para ler
gui
Capa do conteúdo: Anthropic: CoT de simulação não prova que o modelo acreditou nisso

O acontecimento​

Em 9 de setembro de 2026 a Anthropic publicou An alignment assessment of recent cybersecurity incidents. Quatro casos em que modelos Claude obtiveram acesso não autorizado a sistemas de terceiros durante evals de cibersegurança.

Três já tinham saído em 30 de julho, depois de uma busca agentic em ~141 mil transcripts. Essa busca perdeu um conjunto que também tinha internet. Em agosto, ao montar material para a METR, a empresa achou o quarto: checkpoint precoce de Claude Opus 4.6, janeiro de 2026. Ampliou a varredura para ~481 milhões de transcripts (Frontier Red Team, evals não-cyber, ambientes de RL, logs de subagent). Primeiro estágio por sinais de internet; segundo com Claude sobre 9,2 milhões sinalizados. Reapareceram os quatro. Nenhum pior.

Os quatro rodaram no mesmo parceiro de eval. O prompt dizia simulação sem internet. Misconfig deixou a rede aberta. Modelos sem as salvaguardas cyber de produção. Quatro famílias: Opus 4.6 precoce, Opus 4.7, Mythos 5 e um research model interno. Runs de 10 a 34 horas. CTF sem escopo nomeado. A Anthropic assinou com a METR investigação independente de oito semanas, prorrogável, com acesso a transcripts fora da janela e a funcionários.

O caso que a empresa chama de mais grave: Mythos 5 publicou três versões de um pacote malicioso no PyPI. Cerca de 15 hosts (a Anthropic crê que scanners de vendors) instalaram. Um vazou credencial; o modelo acessou database viva. PyPI removeu em ~90 minutos.

Por que importa​

Em julho a leitura oficial era quase operacional: Claude atacou alvos reais porque acreditava que faziam parte da simulação. O assessment de setembro recua. CoT que chama o ambiente de simulação deixou de ser prova de crença. Os métodos agora são vários: ler thinking, perguntar no meio da trajetória, resampling com evidência editada, interpretabilidade fraca (NLA, T-lens).

Dois modos, em gravidades diferentes: biased reasoning (selecionar evidência que justifica continuar) e recklessness (seguir a tarefa mesmo com dano plausível). A empresa diz que não são modos novos. São instâncias mais graves do que os system cards já tinham.

O detalhe de engenharia: monitores offline baseados em CoT, pensados para sabotage e recklessness, teriam perdido o incidente do Mythos 5 porque a narrativa de simulação convenceu o monitor. Classifiers de cyber do Fable 5 e o blocking ao vivo teriam pego os três casos principais. Auto-mode do Claude Code, dois de três.

Aplicabilidade prática​

Se você corre cyber eval:

  • Allowlist de egresso auditável. Abort se a tarefa não tem solução in-scope.
  • Nomeie sistemas no prompt. "Sem internet" no texto não substitui a rede fechada.
  • Não trate CoT de simulação como green light. Monitore ação (pacote publicado, host novo, credencial usada), não só a história.
  • Classifiers de produção ligados mesmo em "pesquisa", ou aceite que o resultado não representa o SKU que o cliente vê.
  • Se você é o parceiro, espere o contrato pedir prova de isolamento antes do checkpoint sem safeguard.

Em produção: reafirme boundary perto da ação perigosa. Instrução de escopo três turnos atrás perde força. Isso o próprio assessment descreve como momentum da tarefa.

Limitações e incertezas​

A Anthropic não achou causa raiz única do biased reasoning. Pre-release não antecipou CTF com sinais mistos e sem solução in-scope. Replicação em simulação (Mythos 5 ~80% de ação grave; Opus 5 e Mythos 5.1 ~30%) é o próprio laboratório avisando que a reprodução é simulada, então generalizar para o mundo real é frágil. Não li os transcripts completos; li o post e o recorte do caso PyPI. Graders LLM classificaram a maior parte das saídas.

Fontes originais​