Adversary Emulation com Caldera e MITRE ATT&CK em Lab Corporativo

Quando o cliente liga dizendo que comprou um EDR top de linha e quer saber se 'esta bom', a resposta honesta nunca e um relatorio de PowerPoint. E uma operacao de adversary emulation com cenario escrito, ATT&CK mapeado e metricas frias: quantos passos passaram silenciosos, quantos viraram alerta, quantos viraram resposta humana em ate 60 minutos. Na Basilisk OffSec a gente padronizou isso em volta de Caldera 5.x, Atomic Red Team e um lab de dominio Windows com 8 hosts, replicando o ambiente do cliente sem nunca tocar a producao dele. Esse texto descreve a pilha, o fluxo e os erros que cobramos caro para nao cometer de novo.

Emulacao nao e pentest: o que adversary emulation realmente mede

Um pentest caca vulnerabilidades e prova explorabilidade. Adversary emulation faz outra pergunta: se voce reproduz uma ameaca concreta passo a passo, a defesa a ve e a para a tempo? A entrega nao e uma lista de CVEs, mas um scorecard de deteccao por tecnica. Por isso o resultado e sempre uma tabela de tecnica ATT&CK, desfecho (silencioso, alertado, bloqueado) e tempo ate a resposta. Quem confunde isso com pentest compra o produto errado e acaba medindo a coisa errada.

O valor vem da repetibilidade. A mesma emulacao, rodada mensalmente, mostra se as novas regras Sigma e o tuning do EDR melhoram de fato a taxa de deteccao ou se so melhorou a sensacao. Sem uma linha de base, qualquer afirmacao de 'mais seguranca' e marketing.

O lab replicavel: oito hosts, Proxmox e Terraform

O lab base e simples e replicavel: um Windows Server 2022 como DC, dois Server 2019 (file e SQL), tres Windows 11 Enterprise como estacoes com Defender for Endpoint em modo bloqueio, e dois Ubuntu 24.04 com auditd e Wazuh agent. Tudo orquestrado em Proxmox via Terraform, com snapshots nomeados por fase do cenario. Para quem esta montando o cenario Windows do zero recomendamos comecar pelo Active Directory Pentest: Kerberoasting Passo a Passo em Lab GOAD, que ja entrega ACLs propositalmente bagunçadas, e depois acoplar o pivoting descrito em Pivoting com Chisel e Ligolo-ng: Redes Segmentadas em Lab de Pentest para segmentar VLANs. Sem segmentacao realista, qualquer metrica de deteccao de lateral movement fica viciada.

Terraform aqui nao e enfeite. Ele garante que o lab sobe de forma deterministica do mesmo estado depois de cada operacao, para que duas rodadas fiquem comparaveis. Snapshots nomeados por fase permitem voltar ao momento exato antes do lateral movement sempre que uma pergunta de deteccao fica em aberto.

Caldera como cerebro: YAML de adversario e mapeamento ATT&CK

Caldera entra como cerebro da operacao. Subimos o servidor em um Debian isolado, carregamos os plugins 'atomic', 'stockpile' e o nosso fork interno 'basilisk-ttps' (com TTPs brasileiras como abuso de RustDesk e AnyDesk em PMEs). Cada adversario em Caldera e um arquivo YAML que cita tecnicas ATT&CK por ID: T1059.001 para PowerShell, T1021.006 para WinRM, T1003.001 para LSASS dump. Nao rodamos adversarios prontos sem revisao; eles sao uteis para benchmark, mas o valor esta em escrever cenarios que reproduzam o threat model do cliente. Um varejo com PDV exposto nao merece o mesmo adversary de uma fintech com Azure AD federado.

Um perfil de adversario e uma sequencia ordenada de abilities, cada uma com referencia ATT&CK, executor e comando de cleanup. Essa linha de cleanup nao e opcional: garante que o host volte a um estado conhecido apos a rodada, senao o primeiro teste contamina o segundo. Versionamos cada YAML no git e revisamos como codigo de producao.

O ciclo de execucao em quatro fases

A execucao segue um ciclo de quatro fases que aprendemos a respeitar. Primeiro initial access simulado em endpoint controlado, geralmente seguindo o playbook de Initial Access Simulado: Macros, LNK e ISO em Lab Windows 11 Isolado com payload assinado por CA interna. Segundo, execucao e descoberta com tecnicas pesadas em LOLBins, e aqui o material de Hunting de Living-off-the-Land Binaries no Windows com KQL ajuda o blue team a montar consultas KQL antes do exercicio. Terceiro, lateral movement por SMB e WinRM aproveitando contas de servico fracas. Quarto, acoes no objetivo, que pode ser exfil de banco SQL ou cifragem simulada de share.

Cada fase tem criterio de parada claro: se o EDR matar o processo em ate 90 segundos, anotamos como detectado e seguimos por outro caminho. Esse criterio duro evita o padrao de autoengano mais comum, em que o operador ajusta ate algo passar e depois diz que a cadeia rodou de ponta a ponta. Detectado e detectado; e um bom resultado para o cliente, nao um fracasso do time.

Lado azul: instrumentacao, telemetria e as tres metricas

A parte chata, mas decisiva, e a instrumentacao do lado azul. Sem telemetria comparavel, adversary emulation vira teatro. Plugamos Sysmon com config do Olaf Hartong, encaminhamos para um Elastic 8.14 e aplicamos regras Sigma convertidas, processo que detalhamos em Threat Hunting com Sigma e Elastic: Do Indicador a Regra de Deteccao. Marcamos cada evento gerado pelo Caldera com um header customizado x-caldera-op-id, o que permite consultar no Kibana qual tecnica gerou quais eventos e em quanto tempo o analista respondeu.

Metricas que sempre reportamos: MTTD por tecnica, taxa de deteccao por tatica ATT&CK, e numero de regras Sigma novas escritas como consequencia do exercicio. Sem esses tres numeros, o cliente acha que comprou pentest e fica frustrado. Com eles, recebe uma curva de maturidade que pode mostrar na diretoria e defender ao longo dos trimestres.

Uma rodada concreta: da ability a lacuna de deteccao

Uma rodada tipica: o Caldera entrega um agente Sandcat via um LNK assinado, executa T1059.001 (descoberta por PowerShell), depois T1003.001 (acesso ao LSASS via um LOLBin em vez de Mimikatz para variar a assinatura), e pivota via T1021.006 (WinRM) para o servidor de arquivos. Em uma rodada real de cliente o acesso ao LSASS passou silencioso porque a regra Sigma existente so mirava o nome de processo mimikatz.exe em vez do acesso suspeito ao handle de lsass.exe. Essa lacuna exata e o produto: uma regra nova, baseada em comportamento, que fica escrita no relatorio.

Para cada ability registramos o timestamp do evento do Caldera e o do primeiro alerta correlacionado no Elastic. A diferenca e o MTTD daquela tecnica. Agregado por tatica da a taxa de deteccao que acompanhamos trimestre a trimestre contra as rodadas anteriores.

Armadilhas eticas e operacionais

Tem armadilha etica e operacional que vale citar. Adversary emulation nao e desculpa para rodar evasao de EDR em producao alheia; tudo o que envolve direct syscalls ou patching de AMSI fica restrito ao lab, e quem quiser entender por que reforcamos isso pode ler Evasao de EDR para Pesquisa: Direct Syscalls Explicados sem Romantizacao e Bypass de AMSI e ETW para Pesquisa Defensiva: O que Blue Teams Devem Saber. Tambem nao rodamos C2 com infraestrutura compartilhada com clientes; cada operacao ganha um teamserver Sliver dedicado conforme Construindo Infra de C2 com Sliver em Lab Isolado para Estudo Defensivo.

Toda operacao se apoia em uma autorizacao escrita com escopo claro e regras de engajamento. Um passo destrutivo, como a cifragem simulada de um share, so roda contra dados dedicados do lab e nunca contra a producao do cliente. Essa linha nao se negocia, nem para 'testar rapidinho'.

Relatorio e o ciclo de feedback purple team

E, sempre, o relatorio final amarra cada TTP a uma contramedida concreta, virando insumo para o ciclo descrito em Purple Team na Pratica: Construindo Ciclo de Feedback Red x Blue, evitando que o exercicio termine no cemiterio de PDFs. Para cada tecnica nao detectada entregamos a logica de deteccao proposta, nao so a observacao de que existe uma lacuna. Essa e a diferenca entre um relatorio que e arquivado e um que sobe de forma mensuravel a taxa de deteccao na proxima rodada.

O ciclo se fecha quando as regras propostas no relatorio sao testadas no ciclo seguinte. Por isso uma cadencia mensal ganha de um grande teste anual: so a repeticao prova que a defesa aprendeu algo de verdade.

FAQ: qual a diferenca entre Caldera e Atomic Red Team?

Atomic Red Team e uma biblioteca de snippets de teste unicos por tecnica, ideal para checar pontualmente se existe deteccao para T1003.001. O Caldera orquestra esses blocos em uma cadeia coerente com agente, planejamento e cleanup, para que uma historia de ataque completa aconteca. Na pratica usamos Atomic para validacao unica rapida e Caldera para a operacao completa e roteirizada. Eles nao competem, se complementam.

FAQ: precisa de um EDR caro para isso valer a pena?

Nao. O sentido da emulacao e justamente medir o que a sua telemetria atual entrega. Sysmon mais Elastic mais regras Sigma convertidas e uma base de deteccao totalmente gratuita contra a qual da para emular com sentido. Um EDR caro costuma melhorar os dados brutos, mas sem logica de deteccao testada e um blue team treinado ele continua sendo um arquivo de logs caro.

Takeaway pratico: comecar pequeno, iterar mensalmente

Takeaway pratico: comece pequeno. Suba um Caldera, escreva um adversario com cinco tecnicas ATT&CK que casem com o threat model real do seu ambiente, rode contra tres endpoints monitorados e meca MTTD por tecnica. Repita mensalmente trocando uma tecnica de cada vez. Em seis meses voce tera uma curva de maturidade defensavel em diretoria, sem precisar comprar mais nenhuma ferramenta cara, e o SOC vai parar de reclamar que 'nunca acontece nada' nos treinamentos.