Uncovering CloudFlare
Cloudflareを発見するための一般的なテクニック
ドメインの過去のDNSレコードを提供するサービスを使用できます。おそらくウェブページは以前に使用されたIPアドレスで実行されています。
同様に、過去のSSL証明書をチェックすることで、オリジンIPアドレスを指す可能性があります。
直接IPアドレスを指す他のサブドメインのDNSレコードもチェックしてください。他のサブドメインが同じサーバーを指している可能性があります(おそらくFTP、メール、または他のサービスを提供するため)。
ウェブアプリケーション内でSSRFを見つけた場合、それを悪用してサーバーのIPアドレスを取得できます。
Shodanなどのブラウザでウェブページの一意の文字列を検索します(おそらくGoogleなどでも?)。そのコンテンツを持つIPアドレスを見つけることができるかもしれません。
一意の文字列を探す代わりに、https://github.com/karma9874/CloudFlare-IPやhttps://github.com/pielco11/fav-upのツールを使用してファビコンアイコンを検索できます。
これは非常に頻繁には機能しないかもしれません。サーバーはIPアドレスでアクセスされたときに同じ応答を送信する必要がありますが、絶対にわかりません。
Cloudflareを発見するためのツール
http://www.crimeflare.org:82/cfs.htmlまたはhttps://crimeflare.herokuapp.comでドメインを検索します。またはCloudPeler(そのAPIを使用する)を使用します。
CloudFlairは、ドメイン名を含むCensys証明書を検索し、それらの証明書内のIPv4を検索し、最後にそれらのIPでウェブページにアクセスしようとします。
CloakQuest3r:CloakQuest3rは、Cloudflareなどの広く採用されているWebセキュリティおよびパフォーマンス向上サービスによって保護されたウェブサイトの実際のIPアドレスを正確に特定するために精巧に作成された強力なPythonツールです。その主な使命は、Cloudflareの保護シールドの背後に隠されたWebサーバーの実際のIPアドレスを正確に判断することです。
ウェブページが存在する可能性のある一連のIPを持っている場合、https://github.com/hakluke/hakoriginfinderを使用できます。
クラウドインフラからのCloudflareの発見
AWSマシン向けに行われたとしても、他のどのクラウドプロバイダーでも同様に行うことができます。
このプロセスの詳細な説明については、以下を参照してください:
CloudflareをCloudflare経由でバイパスする
認証済みオリジンプル
このメカニズムは、クライアントSSL証明書 を使用して、Cloudflareのリバースプロキシサーバーとオリジンサーバーの間の接続を認証するために依存しています。これはmTLSと呼ばれます。
顧客は独自の証明書を設定する代わりに、Cloudflareの証明書を使用して、Cloudflareからの接続を許可できます。テナントに関係なく、Cloudflareからの接続を許可できます。
したがって、攻撃者は単にCloudflareの証明書を使用してCloudflareにドメインを設定し、それを被害者のドメインのIPアドレスに向けることができます。この方法で、彼のドメインを完全に保護されていない状態に設定し、Cloudflareは送信されたリクエストを保護しません。
詳細はこちら。
Cloudflare IPアドレスのホワイトリスト
これにより、CloudflareのIPアドレス範囲から発信されない接続は拒否されます。これも、攻撃者が単に自分のドメインをCloudflareに向けて被害者のIPアドレスに攻撃する前の設定に対して脆弱です。
詳細はこちら。
スクレイピングのためのCloudflareバイパス
キャッシュ
時には、CloudflareをバイパスしてWebページをスクレイプしたい場合があります。これにはいくつかのオプションがあります。
Googleキャッシュを使用する:
https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog
https://archive.org/web/などの他のキャッシュサービスを使用する
ツール
次のようなツールは、Cloudflareのスクレイピングに対する保護をバイパスすることができる(またはできた)可能性があります。
Cloudflareソルバー
いくつかのCloudflareソルバーが開発されています。
cloudflare-bypass [アーカイブ済み]
強化されたヘッドレスブラウザ
自動化されたブラウザとして検出されないヘッドレスブラウザを使用します(そのためにカスタマイズする必要があるかもしれません)。いくつかのオプションは次のとおりです。
Puppeteer: puppeteerのstealthプラグイン。
Playwright: Playwrightにはstealthプラグインが近日公開される予定です。最新情報はこちらおよびこちらをフォローしてください。
Selenium: undetected-chromedriver、最適化されたSelenium Chromedriverパッチ。
Cloudflare組み込みバイパス機能を備えたスマートプロキシ
スマートプロキシは、Cloudflareのセキュリティ対策を出し抜くことを目指して専門企業によって継続的に更新されるプロキシです。
その中には次のようなものがあります。
Smartproxy は独自のCloudflareバイパスメカニズムで知られています。
最適化されたソリューションを求める方には、ScrapeOps Proxy Aggregatorがおすすめです。このサービスは、20以上のプロキシプロバイダーを1つのAPIに統合し、ターゲットドメインに最適で費用対効果の高いプロキシを自動的に選択するため、Cloudflareの防御を回避するための優れたオプションを提供します。
Cloudflareの対ボット保護のリバースエンジニアリング
Cloudflareのボット対策をリバースエンジニアリングすることは、多数のヘッドレスブラウザを実行する高コストをかけずに大規模なWebスクレイピングを行うための戦術です。
利点: この方法は、Cloudflareのチェックを特定的に対象とする非常に効率的なバイパスの作成を可能にし、大規模な操作に最適です。
欠点: 欠点は、Cloudflareの意図的に不透明なボット対策システムを理解し、欺くための複雑さがあり、異なる戦略をテストし、Cloudflareが保護を強化するにつれてバイパスを更新するための継続的な努力が必要です。
これについての詳細情報は、元の記事で確認できます。
参考文献
Last updated