External Recon Methodology
Last updated
Last updated
Aprenda e pratique Hacking AWS:HackTricks Training AWS Red Team Expert (ARTE) Aprenda e pratique Hacking GCP: HackTricks Training GCP Red Team Expert (GRTE)
Se você está interessado em carreira de hacking e hackear o inhackeável - estamos contratando! (fluência em polonês escrita e falada é necessária).
Então, foi dito a você que tudo que pertence a alguma empresa está dentro do escopo, e você quer descobrir o que essa empresa realmente possui.
O objetivo desta fase é obter todas as empresas pertencentes à empresa principal e, em seguida, todos os ativos dessas empresas. Para isso, vamos:
Encontrar as aquisições da empresa principal, isso nos dará as empresas dentro do escopo.
Encontrar o ASN (se houver) de cada empresa, isso nos dará os intervalos de IP pertencentes a cada empresa.
Usar consultas de whois reverso para procurar outras entradas (nomes de organizações, domínios...) relacionadas à primeira (isso pode ser feito recursivamente).
Usar outras técnicas como filtros org e ssl do shodan para procurar outros ativos (o truque ssl pode ser feito recursivamente).
Primeiramente, precisamos saber quais outras empresas são propriedade da empresa principal. Uma opção é visitar https://www.crunchbase.com/, pesquisar pela empresa principal e clicar em "aquisições". Lá você verá outras empresas adquiridas pela principal. Outra opção é visitar a página da Wikipedia da empresa principal e procurar por aquisições.
Ok, neste ponto você deve saber todas as empresas dentro do escopo. Vamos descobrir como encontrar seus ativos.
Um número de sistema autônomo (ASN) é um número único atribuído a um sistema autônomo (AS) pela Internet Assigned Numbers Authority (IANA). Um AS consiste em blocos de endereços IP que têm uma política claramente definida para acessar redes externas e são administrados por uma única organização, mas podem ser compostos por vários operadores.
É interessante descobrir se a empresa tem algum ASN atribuído para encontrar seus intervalos de IP. Será interessante realizar um teste de vulnerabilidade contra todos os hosts dentro do escopo e procurar por domínios dentro desses IPs. Você pode pesquisar pelo nome da empresa, por IP ou por domínio em https://bgp.he.net/. Dependendo da região da empresa, esses links podem ser úteis para coletar mais dados: AFRINIC (África), Arin(América do Norte), APNIC (Ásia), LACNIC (América Latina), RIPE NCC (Europa). De qualquer forma, provavelmente todas as informações úteis (intervalos de IP e Whois) já aparecem no primeiro link.
Além disso, a enumeração de subdomínios do BBOT's agrega e resume automaticamente os ASNs no final da varredura.
Você pode encontrar os intervalos de IP de uma organização também usando http://asnlookup.com/ (ele tem uma API gratuita). Você pode encontrar o IP e ASN de um domínio usando http://ipv4info.com/.
Neste ponto, sabemos todos os ativos dentro do escopo, então, se você tiver permissão, pode lançar algum scanner de vulnerabilidades (Nessus, OpenVAS) sobre todos os hosts. Além disso, você pode lançar alguns scans de porta ou usar serviços como shodan para encontrar portas abertas e dependendo do que você encontrar, você deve dar uma olhada neste livro sobre como pentestar vários serviços possíveis em execução. Além disso, pode valer a pena mencionar que você também pode preparar algumas listas de nomes de usuário e senhas padrão e tentar bruteforçar serviços com https://github.com/x90skysn3k/brutespray.
Sabemos todas as empresas dentro do escopo e seus ativos, é hora de encontrar os domínios dentro do escopo.
Por favor, note que nas técnicas propostas a seguir você também pode encontrar subdomínios e que essa informação não deve ser subestimada.
Primeiramente, você deve procurar o(s) domínio(s) principal(is) de cada empresa. Por exemplo, para Tesla Inc. será tesla.com.
Como você encontrou todos os intervalos de IP dos domínios, você pode tentar realizar consultas de dns reverso nesses IPs para encontrar mais domínios dentro do escopo. Tente usar algum servidor DNS da vítima ou algum servidor DNS bem conhecido (1.1.1.1, 8.8.8.8)
Para que isso funcione, o administrador precisa habilitar manualmente o PTR. Você também pode usar uma ferramenta online para essas informações: http://ptrarchive.com/
Dentro de um whois você pode encontrar muitas informações interessantes, como nome da organização, endereço, e-mails, números de telefone... Mas o que é ainda mais interessante é que você pode encontrar mais ativos relacionados à empresa se realizar buscas reversas de whois por qualquer um desses campos (por exemplo, outros registros whois onde o mesmo e-mail aparece). Você pode usar ferramentas online como:
https://viewdns.info/reversewhois/ - Gratuito
https://domaineye.com/reverse-whois - Gratuito
https://www.reversewhois.io/ - Gratuito
https://www.whoxy.com/ - Gratuito web, API não gratuita.
http://reversewhois.domaintools.com/ - Não gratuito
https://drs.whoisxmlapi.com/reverse-whois-search - Não Gratuito (apenas 100 buscas gratuitas)
https://www.domainiq.com/ - Não Gratuito
Você pode automatizar essa tarefa usando DomLink (requer uma chave de API whoxy).
Você também pode realizar algumas descobertas automáticas de reverse whois com amass: amass intel -d tesla.com -whois
Note que você pode usar essa técnica para descobrir mais nomes de domínio toda vez que encontrar um novo domínio.
Se encontrar o mesmo ID do mesmo tracker em 2 páginas diferentes, você pode supor que ambas as páginas são gerenciadas pela mesma equipe. Por exemplo, se você ver o mesmo ID do Google Analytics ou o mesmo ID do Adsense em várias páginas.
Existem algumas páginas e ferramentas que permitem que você pesquise por esses trackers e mais:
Você sabia que podemos encontrar domínios e subdomínios relacionados ao nosso alvo procurando pelo mesmo hash do ícone favicon? Isso é exatamente o que a ferramenta favihash.py feita por @m4ll0k2 faz. Aqui está como usá-la:
Simplificando, favihash nos permitirá descobrir domínios que têm o mesmo hash de ícone favicon que nosso alvo.
Além disso, você também pode pesquisar tecnologias usando o hash do favicon, conforme explicado em este post do blog. Isso significa que, se você souber o hash do favicon de uma versão vulnerável de uma tecnologia web, pode pesquisar no shodan e encontrar mais lugares vulneráveis:
Isso é como você pode calcular o hash do favicon de um site:
Procure dentro das páginas da web strings que podem ser compartilhadas entre diferentes webs na mesma organização. A string de copyright pode ser um bom exemplo. Em seguida, procure por essa string no google, em outros navegadores ou até mesmo no shodan: shodan search http.html:"Copyright string"
É comum ter um cron job como
para renovar todos os certificados de domínio no servidor. Isso significa que mesmo que a CA usada para isso não defina o tempo em que foi gerado no tempo de validade, é possível encontrar domínios pertencentes à mesma empresa nos logs de transparência de certificados. Confira este artigo para mais informações.
Você pode usar um site como https://dmarc.live/info/google.com ou uma ferramenta como https://github.com/Tedixx/dmarc-subdomains para encontrar domínios e subdomínios compartilhando as mesmas informações de dmarc.
Aparentemente, é comum que as pessoas atribuam subdomínios a IPs que pertencem a provedores de nuvem e, em algum momento, percam esse endereço IP, mas se esqueçam de remover o registro DNS. Portanto, apenas criar uma VM em uma nuvem (como Digital Ocean) você estará, na verdade, assumindo alguns subdomínios.
Este post explica uma história sobre isso e propõe um script que cria uma VM no DigitalOcean, obtém o IPv4 da nova máquina e busca no Virustotal por registros de subdomínio apontando para ela.
Observe que você pode usar essa técnica para descobrir mais nomes de domínio toda vez que encontrar um novo domínio.
Shodan
Como você já sabe o nome da organização que possui o espaço de IP. Você pode pesquisar por esses dados no shodan usando: org:"Tesla, Inc." Verifique os hosts encontrados para novos domínios inesperados no certificado TLS.
Você poderia acessar o certificado TLS da página principal, obter o nome da Organização e então procurar esse nome dentro dos certificados TLS de todas as páginas conhecidas pelo shodan com o filtro: ssl:"Tesla Motors" ou usar uma ferramenta como sslsearch.
Assetfinder
Assetfinder é uma ferramenta que procura por domínios relacionados com um domínio principal e subdomínios deles, bastante incrível.
Verifique por alguma tomada de domínio. Talvez alguma empresa esteja usando algum domínio mas perdeu a propriedade. Basta registrá-lo (se for barato o suficiente) e avisar a empresa.
Se você encontrar algum domínio com um IP diferente dos que você já encontrou na descoberta de ativos, você deve realizar uma varredura básica de vulnerabilidades (usando Nessus ou OpenVAS) e alguma varredura de portas com nmap/masscan/shodan. Dependendo de quais serviços estão em execução, você pode encontrar neste livro algumas dicas para "atacá-los". &#xNAN;Note que às vezes o domínio está hospedado dentro de um IP que não é controlado pelo cliente, então não está no escopo, tenha cuidado.
Sabemos todas as empresas dentro do escopo, todos os ativos de cada empresa e todos os domínios relacionados às empresas.
É hora de encontrar todos os possíveis subdomínios de cada domínio encontrado.
Observe que algumas das ferramentas e técnicas para encontrar domínios também podem ajudar a encontrar subdomínios!
Vamos tentar obter subdomínios dos registros DNS. Também devemos tentar por Transferência de Zona (Se vulnerável, você deve relatar).
A maneira mais rápida de obter muitos subdomínios é pesquisar em fontes externas. As ferramentas mais utilizadas são as seguintes (para melhores resultados, configure as chaves da API):
Existem outras ferramentas/APIs interessantes que, mesmo não sendo diretamente especializadas em encontrar subdomínios, podem ser úteis para encontrar subdomínios, como:
Crobat: Usa a API https://sonar.omnisint.io para obter subdomínios
RapidDNS API gratuita
gau: busca URLs conhecidas do Open Threat Exchange da AlienVault, da Wayback Machine e do Common Crawl para qualquer domínio dado.
SubDomainizer & subscraper: Eles vasculham a web em busca de arquivos JS e extraem subdomínios a partir daí.
securitytrails.com tem uma API gratuita para pesquisar subdomínios e histórico de IP
Este projeto oferece gratuitamente todos os subdomínios relacionados a programas de bug-bounty. Você pode acessar esses dados também usando chaospy ou até mesmo acessar o escopo usado por este projeto https://github.com/projectdiscovery/chaos-public-program-list
Você pode encontrar uma comparação de muitas dessas ferramentas aqui: https://blog.blacklanternsecurity.com/p/subdomain-enumeration-tool-face-off
Vamos tentar encontrar novos subdomínios forçando servidores DNS usando possíveis nomes de subdomínio.
Para esta ação, você precisará de algumas listas de palavras comuns de subdomínios como:
E também IPs de bons resolvedores de DNS. Para gerar uma lista de resolvedores de DNS confiáveis, você pode baixar os resolvedores de https://public-dns.info/nameservers-all.txt e usar dnsvalidator para filtrá-los. Ou você poderia usar: https://raw.githubusercontent.com/trickest/resolvers/main/resolvers-trusted.txt
As ferramentas mais recomendadas para força bruta de DNS são:
massdns: Esta foi a primeira ferramenta que realizou uma força bruta de DNS eficaz. É muito rápida, no entanto, é propensa a falsos positivos.
gobuster: Este eu acho que usa apenas 1 resolvedor
shuffledns é um wrapper em torno do massdns, escrito em go, que permite enumerar subdomínios válidos usando bruteforce ativo, além de resolver subdomínios com tratamento de wildcard e suporte fácil de entrada-saída.
puredns: Ele também usa massdns.
aiodnsbrute usa asyncio para forçar nomes de domínio de forma assíncrona.
Após ter encontrado subdomínios usando fontes abertas e força bruta, você pode gerar alterações dos subdomínios encontrados para tentar encontrar ainda mais. Várias ferramentas são úteis para esse propósito:
dnsgen: Dado os domínios e subdomínios, gera permutações.
goaltdns: Dado os domínios e subdomínios, gere permutações.
Você pode obter a wordlist de permutações do goaltdns aqui here.
gotator: Dado os domínios e subdomínios, gera permutações. Se nenhum arquivo de permutações for indicado, o gotator usará o seu próprio.
altdns: Além de gerar permutações de subdomínios, ele também pode tentar resolvê-los (mas é melhor usar as ferramentas comentadas anteriormente).
Você pode obter a wordlist de permutações do altdns aqui.
dmut: Outra ferramenta para realizar permutações, mutações e alterações de subdomínios. Esta ferramenta fará brute force do resultado (não suporta wildcard dns).
Você pode obter a lista de palavras de permutações do dmut aqui.
alterx: Com base em um domínio, ele gera novos nomes de subdomínios potenciais com base em padrões indicados para tentar descobrir mais subdomínios.
subzuf: subzuf é um fuzzer de força bruta de subdomínios combinado com um algoritmo guiado por resposta DNS imensamente simples, mas eficaz. Ele utiliza um conjunto de dados de entrada fornecido, como uma lista de palavras personalizada ou registros DNS/TLS históricos, para sintetizar com precisão mais nomes de domínio correspondentes e expandi-los ainda mais em um loop com base nas informações coletadas durante a varredura DNS.
Confira este post no blog que escrevi sobre como automatizar a descoberta de subdomínios a partir de um domínio usando fluxos de trabalho do Trickest para que eu não precise lançar manualmente um monte de ferramentas no meu computador:
Se você encontrou um endereço IP contendo uma ou várias páginas da web pertencentes a subdomínios, você pode tentar encontrar outros subdomínios com páginas nesse IP procurando em fontes OSINT por domínios em um IP ou forçando nomes de domínio VHost nesse IP.
Você pode encontrar alguns VHosts em IPs usando HostHunter ou outras APIs.
Força Bruta
Se você suspeitar que algum subdomínio pode estar oculto em um servidor web, você pode tentar forçá-lo:
Com esta técnica, você pode até conseguir acessar endpoints internos/ocultos.
Às vezes, você encontrará páginas que retornam o cabeçalho Access-Control-Allow-Origin apenas quando um domínio/subdomínio válido é definido no cabeçalho Origin. Nesses cenários, você pode abusar desse comportamento para descobrir novos subdomínios.
Enquanto procura por subdomínios, fique atento para ver se está apontando para algum tipo de bucket, e nesse caso verifique as permissões. Além disso, como neste ponto você já saberá todos os domínios dentro do escopo, tente forçar nomes de buckets possíveis e verificar as permissões.
Você pode monitorar se novos subdomínios de um domínio são criados monitorando os Logs de Transparência de Certificados sublert .
Verifique possíveis subdomain takeovers. Se o subdomínio estiver apontando para algum bucket S3, verifique as permissões.
Se você encontrar algum subdomínio com um IP diferente dos que você já encontrou na descoberta de ativos, você deve realizar uma varredura básica de vulnerabilidades (usando Nessus ou OpenVAS) e alguma varredura de portas com nmap/masscan/shodan. Dependendo dos serviços que estão em execução, você pode encontrar neste livro algumas dicas para "atacá-los". &#xNAN;Note que às vezes o subdomínio está hospedado dentro de um IP que não é controlado pelo cliente, então não está no escopo, tenha cuidado.
Nos passos iniciais, você pode ter encontrado alguns intervalos de IP, domínios e subdomínios. É hora de recolher todos os IPs desses intervalos e para os domínios/subdomínios (consultas DNS).
Usando serviços das seguintes APIs gratuitas, você também pode encontrar IPs anteriores usados por domínios e subdomínios. Esses IPs podem ainda ser de propriedade do cliente (e podem permitir que você encontre CloudFlare bypasses)
Você também pode verificar domínios apontando para um endereço IP específico usando a ferramenta hakip2host
Varra todas as portas dos IPs que não pertencem a CDNs (pois você provavelmente não encontrará nada interessante lá). Nos serviços em execução descobertos, você pode ser capaz de encontrar vulnerabilidades.
Encontre um guia sobre como escanear hosts.
Encontramos todas as empresas e seus ativos e sabemos os intervalos de IP, domínios e subdomínios dentro do escopo. É hora de procurar por servidores web.
Nos passos anteriores, você provavelmente já realizou alguma reconhecimento dos IPs e domínios descobertos, então você pode já ter encontrado todos os possíveis servidores web. No entanto, se você não encontrou, agora vamos ver algumas dicas rápidas para procurar servidores web dentro do escopo.
Por favor, note que isso será orientado para descoberta de aplicativos web, então você deve realizar a varredura de vulnerabilidades e varredura de portas também (se permitido pelo escopo).
Um método rápido para descobrir portas abertas relacionadas a servidores web usando masscan pode ser encontrado aqui. Outra ferramenta amigável para procurar servidores web é httprobe, fprobe e httpx. Você apenas passa uma lista de domínios e ela tentará se conectar à porta 80 (http) e 443 (https). Além disso, você pode indicar para tentar outras portas:
Agora que você descobriu todos os servidores web presentes no escopo (entre os IPs da empresa e todos os domínios e subdomínios), você provavelmente não sabe por onde começar. Então, vamos simplificar e começar apenas tirando capturas de tela de todos eles. Apenas ao dar uma olhada na página principal, você pode encontrar endpoints estranhos que são mais propensos a serem vulneráveis.
Para realizar a ideia proposta, você pode usar EyeWitness, HttpScreenshot, Aquatone, Shutter, Gowitness ou webscreenshot.
Além disso, você pode usar eyeballer para analisar todas as capturas de tela e te dizer o que provavelmente contém vulnerabilidades e o que não contém.
Para encontrar potenciais ativos de nuvem pertencentes a uma empresa, você deve começar com uma lista de palavras-chave que identificam essa empresa. Por exemplo, para uma empresa de criptomoedas, você pode usar palavras como: "crypto", "wallet", "dao", "<domain_name>", <"subdomain_names">.
Você também precisará de listas de palavras de palavras comuns usadas em buckets:
Então, com essas palavras, você deve gerar permutations (verifique o Second Round DNS Brute-Force para mais informações).
Com as listas de palavras resultantes, você pode usar ferramentas como cloud_enum, CloudScraper, cloudlist ou S3Scanner.
Lembre-se de que, ao procurar Ativos de Nuvem, você deve procurar mais do que apenas buckets na AWS.
Se você encontrar coisas como buckets abertos ou funções de nuvem expostas, você deve acessá-los e tentar ver o que eles oferecem e se você pode abusar deles.
Com os domínios e subdomínios dentro do escopo, você basicamente tem tudo o que precisa para começar a procurar por emails. Estas são as APIs e ferramentas que funcionaram melhor para mim para encontrar emails de uma empresa:
theHarvester - com APIs
API de https://hunter.io/ (versão gratuita)
API de https://app.snov.io/ (versão gratuita)
API de https://minelead.io/ (versão gratuita)
Emails serão úteis mais tarde para forçar logins web e serviços de autenticação (como SSH). Além disso, eles são necessários para phishings. Além disso, essas APIs fornecerão ainda mais informações sobre a pessoa por trás do email, o que é útil para a campanha de phishing.
Com os domínios, subdomínios e emails, você pode começar a procurar por credenciais vazadas no passado pertencentes a esses emails:
Se você encontrar credenciais vazadas válidas, essa é uma vitória muito fácil.
Vazamentos de credenciais estão relacionados a hacks de empresas onde informações sensíveis foram vazadas e vendidas. No entanto, as empresas podem ser afetadas por outros vazamentos cujas informações não estão nessas bases de dados:
Credenciais e APIs podem ser vazadas nos repositórios públicos da empresa ou dos usuários que trabalham para essa empresa no github. Você pode usar a ferramenta Leakos para baixar todos os repositórios públicos de uma organização e de seus desenvolvedores e executar gitleaks sobre eles automaticamente.
Leakos também pode ser usado para executar gitleaks contra todo o texto fornecido URLs passadas para ele, pois às vezes páginas web também contêm segredos.
Verifique também esta página para potenciais dorks do github que você também poderia procurar na organização que está atacando:
Às vezes, atacantes ou apenas trabalhadores irão publicar conteúdo da empresa em um site de paste. Isso pode ou não conter informações sensíveis, mas é muito interessante procurar por isso. Você pode usar a ferramenta Pastos para pesquisar em mais de 80 sites de paste ao mesmo tempo.
Dorks do Google, antigos mas valiosos, são sempre úteis para encontrar informações expostas que não deveriam estar lá. O único problema é que o google-hacking-database contém vários milhares de possíveis consultas que você não pode executar manualmente. Então, você pode pegar suas 10 favoritas ou pode usar uma ferramenta como Gorks para executá-las todas.
Observe que as ferramentas que esperam executar todo o banco de dados usando o navegador regular do Google nunca terminarão, pois o Google irá bloquear você muito em breve.
Se você encontrar credenciais ou tokens de API vazados válidos, essa é uma vitória muito fácil.
Se você descobriu que a empresa tem código de código aberto, você pode analisá-lo e procurar por vulnerabilidades nele.
Dependendo da linguagem, existem diferentes ferramentas que você pode usar:
Existem também serviços gratuitos que permitem que você escaneie repositórios públicos, como:
A maioria das vulnerabilidades encontradas por caçadores de bugs reside dentro de aplicações web, então, neste ponto, eu gostaria de falar sobre uma metodologia de teste de aplicações web, e você pode encontrar essas informações aqui.
Eu também quero fazer uma menção especial à seção Ferramentas de Scanners Automáticos de Web de Código Aberto, pois, se você não deve esperar que elas encontrem vulnerabilidades muito sensíveis, elas são úteis para implementá-las em fluxos de trabalho para ter algumas informações iniciais da web.
Parabéns! Neste ponto, você já realizou toda a enumeração básica. Sim, é básico porque muito mais enumeração pode ser feita (veremos mais truques mais tarde).
Então você já:
Encontrou todas as empresas dentro do escopo
Encontrou todos os ativos pertencentes às empresas (e realizou alguns scans de vulnerabilidades se estiver no escopo)
Encontrou todos os domínios pertencentes às empresas
Encontrou todos os subdomínios dos domínios (algum takeover de subdomínio?)
Encontrou todos os IPs (de e não de CDNs) dentro do escopo.
Encontrou todos os servidores web e tirou uma captura de tela deles (algo estranho que vale uma olhada mais profunda?)
Encontrou todos os ativos de nuvem pública potenciais pertencentes à empresa.
Emails, vazamentos de credenciais e vazamentos de segredos que podem te dar uma grande vitória muito facilmente.
Pentesting todas as webs que você encontrou
Existem várias ferramentas por aí que realizarão parte das ações propostas contra um determinado escopo.
https://github.com/hackerspider1/EchoPwn - Um pouco antiga e não atualizada
Todos os cursos gratuitos de @Jhaddix como A Metodologia do Caçador de Bugs v4.0 - Edição Recon
Se você está interessado em uma carreira em hacking e hackear o inhackeável - estamos contratando! (fluência em polonês escrita e falada é necessária).
Dica de bug bounty: inscreva-se no Intigriti, uma plataforma premium de bug bounty criada por hackers, para hackers! Junte-se a nós em https://go.intigriti.com/hacktricks hoje e comece a ganhar recompensas de até $100,000!
Aprenda e pratique Hacking AWS:HackTricks Training AWS Red Team Expert (ARTE) Aprenda e pratique Hacking GCP: HackTricks Training GCP Red Team Expert (GRTE)
