Uncovering CloudFlare

Erlernen Sie AWS-Hacking von Null auf Heldenniveau mit htARTE (HackTricks AWS Red Team Expert)!

Andere Möglichkeiten, HackTricks zu unterstützen:

• Wenn Sie Ihr Unternehmen in HackTricks beworben sehen möchten oder HackTricks im PDF-Format herunterladen möchten, überprüfen Sie die ABONNEMENTPLÄNE!

• Holen Sie sich das offizielle PEASS & HackTricks-Merchandise

• Entdecken Sie The PEASS Family, unsere Sammlung exklusiver NFTs

• Treten Sie der 💬 Discord-Gruppe oder der Telegram-Gruppe bei oder folgen Sie uns auf Twitter 🐦 @carlospolopm.

• Teilen Sie Ihre Hacking-Tricks, indem Sie PRs an die HackTricks und HackTricks Cloud GitHub-Repositories einreichen.

Häufige Techniken zum Aufdecken von Cloudflare

• Sie können einen Dienst verwenden, der Ihnen die historischen DNS-Einträge der Domain liefert. Möglicherweise läuft die Webseite auf einer zuvor verwendeten IP-Adresse.

• Ebenso könnte man dies erreichen, indem man historische SSL-Zertifikate überprüft, die auf die Ursprungs-IP-Adresse verweisen könnten.

• Überprüfen Sie auch die DNS-Einträge anderer Subdomains, die direkt auf IPs verweisen, da es möglich ist, dass andere Subdomains auf denselben Server verweisen (vielleicht um FTP, E-Mail oder einen anderen Dienst anzubieten).

• Wenn Sie eine SSRF innerhalb der Webanwendung finden, können Sie sie missbrauchen, um die IP-Adresse des Servers zu erhalten.

• Suchen Sie nach einer eindeutigen Zeichenfolge der Webseite in Browsern wie Shodan (und vielleicht Google und ähnlichen?). Möglicherweise finden Sie eine IP-Adresse mit diesem Inhalt.

• Auf ähnliche Weise könnten Sie anstelle einer eindeutigen Zeichenfolge nach dem Favicon-Symbol mit dem Tool suchen: https://github.com/karma9874/CloudFlare-IP oder mit https://github.com/pielco11/fav-up

• Dies funktioniert nicht sehr häufig, da der Server dieselbe Antwort senden muss, wenn er über die IP-Adresse aufgerufen wird, aber man weiß nie.

Tools zum Aufdecken von Cloudflare

• Suchen Sie nach der Domain unter http://www.crimeflare.org:82/cfs.html oder https://crimeflare.herokuapp.com. Oder verwenden Sie das Tool CloudPeler (das diese API verwendet)

• Suchen Sie nach der Domain unter https://leaked.site/index.php?resolver/cloudflare.0/

• CloudFlair ist ein Tool, das mithilfe von Censys-Zertifikaten sucht, die den Domainnamen enthalten, dann nach IPv4-Adressen in diesen Zertifikaten sucht und schließlich versucht, die Webseite unter diesen IPs aufzurufen.

• CloakQuest3r: CloakQuest3r ist ein leistungsstarkes Python-Tool, das sorgfältig entwickelt wurde, um die wahre IP-Adresse von Websites aufzudecken, die von Cloudflare und anderen Alternativen geschützt werden, einem weit verbreiteten Web-Sicherheits- und Leistungsverbesserungsdienst. Seine Hauptaufgabe besteht darin, die tatsächliche IP-Adresse von Webservern genau zu erkennen, die hinter dem schützenden Schild von Cloudflare verborgen sind.

• Censys

• Shodan

• Bypass-firewalls-by-DNS-history

• Wenn Sie eine Reihe potenzieller IPs haben, auf denen sich die Webseite befindet, könnten Sie https://github.com/hakluke/hakoriginfinder verwenden.

# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one

# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
done

Aufdecken von Cloudflare aus der Cloud-Infrastruktur

Beachten Sie, dass dies auch für AWS-Maschinen durchgeführt werden kann, aber auch für andere Cloud-Anbieter.

Für eine bessere Beschreibung dieses Prozesses siehe:

Cloudflare bypass - Discover IP addresses of Web servers in AWS | TrickestTrickest

# Find open ports
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open"  > all_open.txt
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json

# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json

Umgehen von Cloudflare über Cloudflare

Authentifizierte Ursprungsabrufe

Dieser Mechanismus basiert auf Client-SSL-Zertifikaten, um Verbindungen zwischen den Cloudflare-Reverse-Proxy-Servern und dem Ursprungs-Server zu authentifizieren, was als mTLS bezeichnet wird.

Anstatt ein eigenes Zertifikat zu konfigurieren, können Kunden einfach Cloudflares Zertifikat verwenden, um jede Verbindung von Cloudflare zuzulassen, unabhängig vom Mieter.

Daher könnte ein Angreifer einfach eine Domain in Cloudflare mit Cloudflares Zertifikat einrichten und sie auf die IP-Adresse der Opfer-Domain zeigen. Auf diese Weise, indem er seine Domain vollständig ungeschützt einrichtet, wird Cloudflare die gesendeten Anfragen nicht schützen.

Weitere Informationen hier.

Erlauben von Cloudflare-IP-Adressen

Dies wird Verbindungen ablehnen, die nicht von Cloudflares IP-Adressbereichen stammen. Dies ist auch anfällig für das vorherige Setup, bei dem ein Angreifer einfach seine eigene Domain in Cloudflare auf die IP-Adresse des Opfers zeigt und es angreift.

Weitere Informationen hier.

Umgehen von Cloudflare für das Scraping

Cache

Manchmal möchten Sie Cloudflare einfach umgehen, um nur die Webseite zu scrapen. Hierfür gibt es einige Optionen:

• Verwenden Sie den Google-Cache: https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog

• Verwenden Sie andere Cache-Dienste wie https://archive.org/web/

Tools

Einige Tools wie die folgenden können Cloudflares Schutz vor dem Scrapen umgehen (oder konnten dies):

• https://github.com/sarperavci/CloudflareBypassForScraping

Cloudflare-Löser

Es wurden mehrere Cloudflare-Löser entwickelt:

• FlareSolverr

• cloudscraper Anleitung hier

• cloudflare-scrape

• CloudflareSolverRe

• Cloudflare-IUAM-Solver

• cloudflare-bypass [Archiviert]

• CloudflareSolverRe

Verstärkte Headless-Browser

Verwenden Sie einen Headless-Browser, der nicht als automatisierter Browser erkannt wird (möglicherweise müssen Sie ihn dafür anpassen). Einige Optionen sind:

• Puppeteer: Das Stealth-Plugin für Puppeteer.

• Playwright: Das Stealth-Plugin kommt bald zu Playwright. Folgen Sie den Entwicklungen hier und hier.

• Selenium: Der undetected-chromedriver ist ein optimierter Selenium Chromedriver-Patch.

Intelligenter Proxy mit integriertem Cloudflare-Bypass

Intelligente Proxy werden kontinuierlich von spezialisierten Unternehmen aktualisiert, um Cloudflares Sicherheitsmaßnahmen zu umgehen (da dies ihr Geschäft ist).

Einige davon sind:

• ScraperAPI

• Scrapingbee

• Oxylabs

• Smartproxy sind bekannt für ihre proprietären Cloudflare-Bypass-Mechanismen.

Für diejenigen, die eine optimierte Lösung suchen, sticht der ScrapeOps Proxy Aggregator heraus. Dieser Service integriert über 20 Proxy-Anbieter in eine einzige API, wählt automatisch den besten und kostengünstigsten Proxy für Ihre Ziel-Domains aus und bietet somit eine überlegene Option zum Navigieren durch Cloudflares Verteidigungen.

Reverse Engineering von Cloudflares Anti-Bot-Schutz

Das Reverse Engineering der Anti-Bot-Maßnahmen von Cloudflare ist eine Taktik, die von intelligenten Proxy-Anbietern verwendet wird und sich für umfangreiches Web-Scraping ohne hohe Kosten für den Betrieb vieler Headless-Browser eignet.

Vorteile: Diese Methode ermöglicht die Erstellung eines äußerst effizienten Umgehungsmechanismus, der speziell auf Cloudflares Überprüfungen abzielt und ideal für groß angelegte Operationen ist.

Nachteile: Der Nachteil besteht in der Komplexität, Cloudflares absichtlich undurchsichtiges Anti-Bot-System zu verstehen und zu täuschen, was einen fortlaufenden Aufwand erfordert, um verschiedene Strategien zu testen und den Umgehungsweg zu aktualisieren, wenn Cloudflare seine Schutzmaßnahmen verbessert.

Weitere Informationen dazu finden Sie im Originalartikel.

Referenzen

• https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/

Erlernen Sie AWS-Hacking von Null auf Held mit htARTE (HackTricks AWS Red Team Expert)!

Andere Möglichkeiten, HackTricks zu unterstützen:

• Wenn Sie Ihr Unternehmen in HackTricks bewerben oder HackTricks als PDF herunterladen möchten, überprüfen Sie die ABONNEMENTPLÄNE!

• Holen Sie sich das offizielle PEASS & HackTricks-Merch

• Entdecken Sie The PEASS Family, unsere Sammlung exklusiver NFTs

• Treten Sie der 💬 Discord-Gruppe oder der Telegram-Gruppe bei oder folgen Sie uns auf Twitter 🐦 @carlospolopm.

• Teilen Sie Ihre Hacking-Tricks, indem Sie PRs an die HackTricks und HackTricks Cloud GitHub-Repositories einreichen.