Uncovering CloudFlare

Učite i vežbajte AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE) Učite i vežbajte GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE)

Podržite HackTricks

• Proverite planove pretplate!

• Pridružite se 💬 Discord grupi ili telegram grupi ili pratite nas na Twitteru 🐦 @hacktricks_live.

• Podelite hakerske trikove slanjem PR-ova na HackTricks i HackTricks Cloud github repozitorijume.

Uobičajene tehnike za otkrivanje Cloudflare

• Možete koristiti neku uslugu koja vam daje istorijske DNS zapise domena. Možda se veb stranica pokreće na IP adresi koja je korišćena ranije.

• Isto se može postići proverom istorijskih SSL sertifikata koji bi mogli ukazivati na izvor IP adresu.

• Proverite takođe DNS zapise drugih poddomena koji direktno upućuju na IP adrese, jer je moguće da drugi poddomeni upućuju na isti server (možda da ponude FTP, mail ili neku drugu uslugu).

• Ako pronađete SSRF unutar veb aplikacije možete ga iskoristiti da dobijete IP adresu servera.

• Pretražujte jedinstveni string veb stranice u pretraživačima kao što su shodan (i možda google i slični?). Možda možete pronaći IP adresu sa tim sadržajem.

• Na sličan način, umesto da tražite jedinstveni string, mogli biste pretraživati favicon ikonu pomoću alata: https://github.com/karma9874/CloudFlare-IP ili sa https://github.com/pielco11/fav-up

• Ovo neće često funkcionisati jer server mora slati isti odgovor kada se pristupa putem IP adrese, ali nikad ne znate.

Alati za otkrivanje Cloudflare

• Pretražujte domen unutar http://www.crimeflare.org:82/cfs.html ili https://crimeflare.herokuapp.com. Ili koristite alat CloudPeler (koji koristi tu API)

• Pretražujte domen na https://leaked.site/index.php?resolver/cloudflare.0/

• CloudFlair je alat koji će pretraživati koristeći Censys sertifikate koji sadrže naziv domena, zatim će pretraživati IPv4 adrese unutar tih sertifikata i konačno će pokušati da pristupi veb stranici na tim IP adresama.

• CloakQuest3r: CloakQuest3r je moćan Python alat pažljivo izrađen da otkrije pravu IP adresu veb sajtova zaštićenih Cloudflare-om i drugim alternativama, široko korišćenom uslugom za bezbednost veba i poboljšanje performansi. Njegova osnovna misija je da tačno utvrdi stvarnu IP adresu veb servera koji su skriveni iza zaštitnog štita Cloudflare-a.

• Censys

• Shodan

• Bypass-firewalls-by-DNS-history

• Ako imate skup potencijalnih IP adresa na kojima se veb stranica nalazi, mogli biste koristiti https://github.com/hakluke/hakoriginfinder

# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one

# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
done

Otkrivanje Cloudflare iz Cloud infrastrukture

Napomena da, čak i ako je ovo urađeno za AWS mašine, može se uraditi za bilo kog drugog cloud provajdera.

Za bolje objašnjenje ovog procesa pogledajte:

Cloudflare bypass - Discover IP addresses of Web servers in AWS | TrickestTrickest

# Find open ports
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open"  > all_open.txt
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json

# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json

Zaobilaženje Cloudflare-a kroz Cloudflare

Autentifikovani Origin Pulls

Omekanizam se oslanja na klijentske SSL sertifikate za autentifikaciju veza između Cloudflare-ovih reverznih proxy servera i origin servera, što se naziva mTLS.

Umesto da konfiguriše svoj sertifikat, kupci mogu jednostavno koristiti Cloudflare-ov sertifikat da omoguće bilo koju vezu iz Cloudflare-a, bez obzira na zakupca.

Stoga, napadač može jednostavno postaviti domen u Cloudflare koristeći Cloudflare-ov sertifikat i usmeriti ga na IP adresu žrtve. Na ovaj način, postavljajući svoj domen potpuno nezaštićen, Cloudflare neće zaštititi poslate zahteve.

Više informacija ovde.

Dozvoljene Cloudflare IP adrese

Ovo će odbiti veze koje ne potiču iz Cloudflare-ovih IP adresa. Ovo je takođe ranjivo na prethodnu postavku gde napadač jednostavno usmeri svoj domen u Cloudflare na IP adresu žrtve i napadne je.

Više informacija ovde.

Zaobilaženje Cloudflare-a za scraping

Keš

Ponekad jednostavno želite da zaobiđete Cloudflare samo da biste scrape-ovali web stranicu. Postoje neke opcije za to:

• Koristite Google keš: https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog

• Koristite druge keš usluge kao što su https://archive.org/web/

Alati

Neki alati poput sledećih mogu zaobići (ili su mogli da zaobiđu) Cloudflare-ovu zaštitu protiv scraping-a:

• https://github.com/sarperavci/CloudflareBypassForScraping

Cloudflare rešenja

Razvijeno je nekoliko Cloudflare rešenja:

• FlareSolverr

• cloudscraper Vodič ovde

• cloudflare-scrape

• CloudflareSolverRe

• Cloudflare-IUAM-Solver

• cloudflare-bypass [Arhivirano]

• CloudflareSolverRe

Ojačani headless pregledači

Koristite headless pregledač koji nije detektovan kao automatizovani pregledač (možda ćete morati da ga prilagodite za to). Neke opcije su:

• Puppeteer: stealth plugin za puppeteer.

• Playwright: stealth plugin dolazi u Playwright uskoro. Pratite razvoj ovde i ovde.

• Selenium: undetected-chromedriver optimizovana Selenium Chromedriver zakrpa.

Pametan proxy sa ugrađenim zaobilaženjem Cloudflare-a

Pametni proxy se kontinuirano ažuriraju od strane specijalizovanih kompanija, sa ciljem da nadmaše Cloudflare-ove sigurnosne mere (jer je to njihov posao).

Neki od njih su:

• ScraperAPI

• Scrapingbee

• Oxylabs

• Smartproxy su poznati po svojim vlasničkim Cloudflare zaobilaženjima.

Za one koji traže optimizovano rešenje, ScrapeOps Proxy Aggregator se izdvaja. Ova usluga integriše više od 20 provajdera proxy-a u jedan API, automatski birajući najbolji i najisplativiji proxy za vaše ciljne domene, nudeći tako superiornu opciju za navigaciju Cloudflare-ovim odbranama.

Obrnuta inženjering Cloudflare Anti-Bot zaštite

Obrnuta inženjering Cloudflare-ovih anti-bot mera je taktika koju koriste pametni provajderi proxy-a, pogodna za opsežno web scraping bez visokih troškova vođenja mnogih headless pregledača.

Prednosti: Ova metoda omogućava kreiranje izuzetno efikasnog zaobilaženja koje specifično cilja Cloudflare-ove provere, idealno za operacije velikih razmera.

Nedostaci: Nedostatak je složenost u razumevanju i obmanjivanju Cloudflare-ovog namerno nejasnog anti-bot sistema, što zahteva kontinuirani trud za testiranje različitih strategija i ažuriranje zaobilaženja kako Cloudflare poboljšava svoje zaštite.

Pronađite više informacija o tome kako to uraditi u originalnom članku.

Reference

• https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/

Učite i vežbajte AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE) Učite i vežbajte GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE)

Podržite HackTricks

• Proverite planove pretplate!

• Pridružite se 💬 Discord grupi ili telegram grupi ili pratite nas na Twitter-u 🐦 @hacktricks_live.

• Podelite hakerske trikove slanjem PR-ova na HackTricks i HackTricks Cloud github repozitorijume.