Uncovering CloudFlare
Common Techniques to Uncover Cloudflare
Puedes usar algún servicio que te dé los registros DNS históricos del dominio. Tal vez la página web esté funcionando en una dirección IP utilizada anteriormente.
Lo mismo podría lograrse verificando certificados SSL históricos que podrían estar apuntando a la dirección IP de origen.
Verifica también registros DNS de otros subdominios que apuntan directamente a IPs, ya que es posible que otros subdominios estén apuntando al mismo servidor (quizás para ofrecer FTP, correo u otro servicio).
Si encuentras un SSRF dentro de la aplicación web puedes abusar de ello para obtener la dirección IP del servidor.
Busca una cadena única de la página web en navegadores como shodan (y tal vez google y similares?). Quizás puedas encontrar una dirección IP con ese contenido.
De manera similar, en lugar de buscar una cadena única, podrías buscar el icono favicon con la herramienta: https://github.com/karma9874/CloudFlare-IP o con https://github.com/pielco11/fav-up
Esto no funcionará muy frecuentemente porque el servidor debe enviar la misma respuesta cuando se accede a través de la dirección IP, pero nunca se sabe.
Tools to uncover Cloudflare
Busca el dominio dentro de http://www.crimeflare.org:82/cfs.html o https://crimeflare.herokuapp.com. O usa la herramienta CloudPeler (que utiliza esa API)
Busca el dominio en https://leaked.site/index.php?resolver/cloudflare.0/
CloudFlair es una herramienta que buscará utilizando certificados de Censys que contienen el nombre de dominio, luego buscará IPv4s dentro de esos certificados y finalmente intentará acceder a la página web en esas IPs.
CloakQuest3r: CloakQuest3r es una poderosa herramienta de Python meticulosamente diseñada para descubrir la verdadera dirección IP de sitios web protegidos por Cloudflare y otras alternativas, un servicio de seguridad web y mejora del rendimiento ampliamente adoptado. Su misión principal es discernir con precisión la dirección IP real de los servidores web que están ocultos detrás del escudo protector de Cloudflare.
Si tienes un conjunto de IPs potenciales donde se encuentra la página web, podrías usar https://github.com/hakluke/hakoriginfinder
Uncovering Cloudflare from Cloud infrastructure
Tenga en cuenta que, incluso si esto se hizo para máquinas de AWS, podría hacerse para cualquier otro proveedor de nube.
Para una mejor descripción de este proceso, consulte:
Bypassing Cloudflare through Cloudflare
Authenticated Origin Pulls
Este mecanismo se basa en certificados SSL del cliente para autenticar conexiones entre los servidores de proxy inverso de Cloudflare y el servidor de origen, lo que se llama mTLS.
En lugar de configurar su propio certificado, los clientes pueden simplemente usar el certificado de Cloudflare para permitir cualquier conexión desde Cloudflare, independientemente del inquilino.
Por lo tanto, un atacante podría simplemente establecer un dominio en Cloudflare usando el certificado de Cloudflare y apuntarlo a la dirección IP del víctima. De esta manera, al configurar su dominio completamente desprotegido, Cloudflare no protegerá las solicitudes enviadas.
Más información aquí.
Allowlist Cloudflare IP Addresses
Esto rechazará conexiones que no se originen en las direcciones IP de Cloudflare. Esto también es vulnerable a la configuración anterior donde un atacante simplemente apunta su propio dominio en Cloudflare a la dirección IP de las víctimas y lo ataca.
Más información aquí.
Bypass Cloudflare for scraping
Cache
A veces solo quieres eludir Cloudflare para raspar la página web. Hay algunas opciones para esto:
Usar la caché de Google:
https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog
Usar otros servicios de caché como https://archive.org/web/
Tools
Algunas herramientas como las siguientes pueden eludir (o pudieron eludir) la protección de Cloudflare contra el raspado:
Cloudflare Solvers
Se han desarrollado varios solucionadores de Cloudflare:
cloudflare-bypass [Archivado]
Fortified Headless Browsers
Usa un navegador sin cabeza que no sea detectado como un navegador automatizado (puedes necesitar personalizarlo para eso). Algunas opciones son:
Puppeteer: El plugin de sigilo para puppeteer.
Playwright: El plugin de sigilo llegará a Playwright pronto. Sigue los desarrollos aquí y aquí.
Selenium: El undetected-chromedriver es un parche optimizado para Selenium Chromedriver.
Smart Proxy With Cloudflare Built-In Bypass
Los smart proxies son actualizados continuamente por empresas especializadas, con el objetivo de eludir las medidas de seguridad de Cloudflare (ya que ese es su negocio).
Algunos de ellos son:
Smartproxy son conocidos por sus mecanismos de elusión de Cloudflare patentados.
Para aquellos que buscan una solución optimizada, el ScrapeOps Proxy Aggregator se destaca. Este servicio integra más de 20 proveedores de proxy en una sola API, seleccionando automáticamente el mejor y más rentable proxy para tus dominios objetivo, ofreciendo así una opción superior para navegar por las defensas de Cloudflare.
Reverse Engineer Cloudflare Anti-Bot Protection
La ingeniería inversa de las medidas anti-bot de Cloudflare es una táctica utilizada por proveedores de proxies inteligentes, adecuada para el raspado web extensivo sin el alto costo de ejecutar muchos navegadores sin cabeza.
Ventajas: Este método permite la creación de un bypass extremadamente eficiente que apunta específicamente a las verificaciones de Cloudflare, ideal para operaciones a gran escala.
Desventajas: La desventaja es la complejidad involucrada en entender y engañar al sistema anti-bot deliberadamente oscuro de Cloudflare, lo que requiere un esfuerzo continuo para probar diferentes estrategias y actualizar el bypass a medida que Cloudflare mejora sus protecciones.
Encuentra más información sobre cómo hacer esto en el artículo original.
References
Last updated