Uncovering CloudFlare

Learn & practice AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE) Learn & practice GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE)

Support HackTricks

• Check the subscription plans!

• Join the 💬 Discord group or the telegram group or follow us on Twitter 🐦 @hacktricks_live.

• Share hacking tricks by submitting PRs to the HackTricks and HackTricks Cloud github repos.

Common Techniques to Uncover Cloudflare

• Μπορείτε να χρησιμοποιήσετε κάποια υπηρεσία που σας δίνει τα ιστορικά DNS records του τομέα. Ίσως η ιστοσελίδα να τρέχει σε μια διεύθυνση IP που χρησιμοποιήθηκε στο παρελθόν.

• Το ίδιο θα μπορούσε να επιτευχθεί ελέγχοντας ιστορικά SSL πιστοποιητικά που θα μπορούσαν να δείχνουν στη διεύθυνση IP προέλευσης.

• Ελέγξτε επίσης DNS records άλλων υποτομέων που δείχνουν απευθείας σε IPs, καθώς είναι πιθανό άλλοι υποτομείς να δείχνουν στον ίδιο διακομιστή (ίσως για να προσφέρουν FTP, mail ή οποιαδήποτε άλλη υπηρεσία).

• Αν βρείτε μια SSRF μέσα στην εφαρμογή ιστού, μπορείτε να την εκμεταλλευτείτε για να αποκτήσετε τη διεύθυνση IP του διακομιστή.

• Αναζητήστε μια μοναδική αλφαριθμητική συμβολοσειρά της ιστοσελίδας σε προγράμματα περιήγησης όπως το shodan (και ίσως το google και παρόμοια;). Ίσως μπορέσετε να βρείτε μια διεύθυνση IP με αυτό το περιεχόμενο.

• Με παρόμοιο τρόπο, αντί να αναζητάτε μια μοναδική συμβολοσειρά, θα μπορούσατε να αναζητήσετε το favicon εικονίδιο με το εργαλείο: https://github.com/karma9874/CloudFlare-IP ή με https://github.com/pielco11/fav-up

• Αυτό δεν θα λειτουργήσει πολύ συχνά, επειδή ο διακομιστής πρέπει να στείλει την ίδια απάντηση όταν προσπελάζεται από τη διεύθυνση IP, αλλά ποτέ δεν ξέρετε.

Tools to uncover Cloudflare

• Αναζητήστε τον τομέα μέσα http://www.crimeflare.org:82/cfs.html ή https://crimeflare.herokuapp.com. Ή χρησιμοποιήστε το εργαλείο CloudPeler (το οποίο χρησιμοποιεί αυτή την API)

• Αναζητήστε τον τομέα στο https://leaked.site/index.php?resolver/cloudflare.0/

• CloudFlair είναι ένα εργαλείο που θα αναζητήσει χρησιμοποιώντας πιστοποιητικά Censys που περιέχουν το όνομα τομέα, στη συνέχεια θα αναζητήσει IPv4s μέσα σε αυτά τα πιστοποιητικά και τελικά θα προσπαθήσει να αποκτήσει πρόσβαση στην ιστοσελίδα σε αυτές τις IPs.

• CloakQuest3r: Το CloakQuest3r είναι ένα ισχυρό εργαλείο Python που έχει σχεδιαστεί προσεκτικά για να αποκαλύψει τη πραγματική διεύθυνση IP ιστοσελίδων που προστατεύονται από το Cloudflare και άλλες εναλλακτικές, μια ευρέως υιοθετημένη υπηρεσία ασφάλειας και βελτίωσης απόδοσης ιστού. Η κύρια αποστολή του είναι να διακρίνει με ακρίβεια τη πραγματική διεύθυνση IP των διακομιστών ιστού που είναι κρυμμένοι πίσω από την προστατευτική ασπίδα του Cloudflare.

• Censys

• Shodan

• Bypass-firewalls-by-DNS-history

• Αν έχετε ένα σύνολο πιθανών IPs όπου βρίσκεται η ιστοσελίδα, θα μπορούσατε να χρησιμοποιήσετε https://github.com/hakluke/hakoriginfinder

# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one

# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
done

Uncovering Cloudflare from Cloud infrastructure

Σημειώστε ότι ακόμη και αν αυτό έγινε για μηχανές AWS, μπορεί να γίνει για οποιονδήποτε άλλο πάροχο cloud.

Για μια καλύτερη περιγραφή αυτής της διαδικασίας ελέγξτε:

Cloudflare bypass - Discover IP addresses of Web servers in AWS | TrickestTrickest

# Find open ports
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open"  > all_open.txt
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json

# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json

Παράκαμψη Cloudflare μέσω Cloudflare

Αυθεντικοποιημένες Προβολές Προέλευσης

Αυτός ο μηχανισμός βασίζεται σε client SSL certificates για την αυθεντικοποίηση των συνδέσεων μεταξύ των servers reverse-proxy της Cloudflare και του origin server, που ονομάζεται mTLS.

Αντί να ρυθμίσουν το δικό τους πιστοποιητικό, οι πελάτες μπορούν απλά να χρησιμοποιήσουν το πιστοποιητικό της Cloudflare για να επιτρέψουν οποιαδήποτε σύνδεση από την Cloudflare, ανεξαρτήτως του ενοικιαστή.

Ως εκ τούτου, ένας επιτιθέμενος θα μπορούσε απλά να ρυθμίσει ένα domain στην Cloudflare χρησιμοποιώντας το πιστοποιητικό της Cloudflare και να το κατευθύνει στη διεύθυνση IP του θύματος. Με αυτόν τον τρόπο, ρυθμίζοντας το domain του εντελώς απροστάτευτο, η Cloudflare δεν θα προστατεύσει τα αιτήματα που αποστέλλονται.

Περισσότερες πληροφορίες εδώ.

Λίστα Επιτρεπόμενων Διευθύνσεων IP της Cloudflare

Αυτό θα απορρίψει τις συνδέσεις που δεν προέρχονται από τις διευθύνσεις IP της Cloudflare. Αυτό είναι επίσης ευάλωτο στην προηγούμενη ρύθμιση όπου ένας επιτιθέμενος απλά κατευθύνει το δικό του domain στην Cloudflare στη διεύθυνση IP των θυμάτων.

Περισσότερες πληροφορίες εδώ.

Παράκαμψη Cloudflare για scraping

Cache

Μερικές φορές θέλετε απλά να παρακάμψετε την Cloudflare για να κάνετε scraping της ιστοσελίδας. Υπάρχουν μερικές επιλογές για αυτό:

• Χρησιμοποιήστε την cache της Google: https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog

• Χρησιμοποιήστε άλλες υπηρεσίες cache όπως https://archive.org/web/

Εργαλεία

Ορισμένα εργαλεία όπως τα παρακάτω μπορούν να παρακάμψουν (ή ήταν σε θέση να παρακάμψουν) την προστασία της Cloudflare κατά του scraping:

• https://github.com/sarperavci/CloudflareBypassForScraping

Λύτες Cloudflare

Έχουν αναπτυχθεί αρκετοί λύτες Cloudflare:

• FlareSolverr

• cloudscraper Οδηγός εδώ

• cloudflare-scrape

• CloudflareSolverRe

• Cloudflare-IUAM-Solver

• cloudflare-bypass [Αρχειοθετημένο]

• CloudflareSolverRe

Ενισχυμένοι Headless Browsers

Χρησιμοποιήστε έναν headless browser που δεν ανιχνεύεται ως αυτοματοποιημένος browser (μπορεί να χρειαστεί να τον προσαρμόσετε γι' αυτό). Ορισμένες επιλογές είναι:

• Puppeteer: Το stealth plugin για puppeteer.

• Playwright: Το stealth plugin έρχεται σύντομα στο Playwright. Ακολουθήστε τις εξελίξεις εδώ και εδώ.

• Selenium: Το undetected-chromedriver είναι μια βελτιστοποιημένη επιδιόρθωση του Selenium Chromedriver.

Έξυπνος Proxy με Ενσωματωμένη Παράκαμψη Cloudflare

Οι έξυπνοι proxies ενημερώνονται συνεχώς από εξειδικευμένες εταιρείες, με στόχο να ξεπεράσουν τα μέτρα ασφαλείας της Cloudflare (καθώς αυτό είναι το επαγγελμα τους).

Ορισμένοι από αυτούς είναι:

• ScraperAPI

• Scrapingbee

• Oxylabs

• Smartproxy είναι γνωστοί για τους ιδιόκτητους μηχανισμούς παράκαμψης της Cloudflare.

Για όσους αναζητούν μια βελτιστοποιημένη λύση, ο ScrapeOps Proxy Aggregator ξεχωρίζει. Αυτή η υπηρεσία ενσωματώνει πάνω από 20 παρόχους proxy σε μία μόνο API, επιλέγοντας αυτόματα τον καλύτερο και πιο οικονομικό proxy για τους στόχους σας, προσφέροντας έτσι μια ανώτερη επιλογή για την πλοήγηση στις άμυνες της Cloudflare.

Αντίστροφη Μηχανική της Προστασίας κατά των Bots της Cloudflare

Η αντίστροφη μηχανική των μέτρων κατά των bots της Cloudflare είναι μια τακτική που χρησιμοποιούν οι πάροχοι έξυπνων proxies, κατάλληλη για εκτενή scraping στο διαδίκτυο χωρίς το υψηλό κόστος λειτουργίας πολλών headless browsers.

Πλεονεκτήματα: Αυτή η μέθοδος επιτρέπει τη δημιουργία μιας εξαιρετικά αποδοτικής παράκαμψης που στοχεύει συγκεκριμένα τους ελέγχους της Cloudflare, ιδανική για μεγάλες κλίμακες.

Μειονεκτήματα: Το μειονέκτημα είναι η πολυπλοκότητα που εμπλέκεται στην κατανόηση και την εξαπάτηση του σκόπιμα ασαφούς συστήματος κατά των bots της Cloudflare, απαιτώντας συνεχή προσπάθεια για τη δοκιμή διαφορετικών στρατηγικών και την ενημέρωση της παράκαμψης καθώς η Cloudflare ενισχύει τις προστασίες της.

Βρείτε περισσότερες πληροφορίες σχετικά με το πώς να το κάνετε αυτό στο πρωτότυπο άρθρο.

Αναφορές

• https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/

Μάθετε & εξασκηθείτε στο AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE) Μάθετε & εξασκηθείτε στο GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE)

Υποστήριξη HackTricks

• Ελέγξτε τα σχέδια συνδρομής!

• Εγγραφείτε στην 💬 ομάδα Discord ή στην ομάδα telegram ή ακολουθήστε μας στο Twitter 🐦 @hacktricks_live.

• Μοιραστείτε κόλπα hacking υποβάλλοντας PRs στα HackTricks και HackTricks Cloud github repos.