Big Binary Files Upload (PostgreSQL)
PostgreSQL Large Objects
PostgreSQLは、画像やPDFドキュメントなどの大規模なデータ型を保存するために設計されたpg_largeobject
テーブルを介してアクセス可能な大規模オブジェクトとして知られる構造を提供しています。このアプローチは、COPY TO
関数よりも優れており、データをファイルシステムにエクスポートすることで、元のファイルの正確なレプリカが維持されます。
このテーブルに完全なファイルを保存するためには、pg_largeobject
テーブルにオブジェクト(LOIDで識別される)を作成し、このオブジェクトに2KBごとのデータチャンクを挿入する必要があります。これらのチャンクが正確に2KBのサイズであること(最後のチャンクを除く可能性がある)は、エクスポート機能が正しく機能するために重要です。
バイナリデータを2KBのチャンクに分割するために、次のコマンドを実行できます:
各ファイルをBase64またはHexにエンコードするために、以下のコマンドを使用できます:
重要: このプロセスを自動化する際は、2KBのクリアテキストバイトのチャンクを送信することを確認してください。 ヘックスエンコードされたファイルはサイズが倍になるため、1チャンクあたり4KBのデータが必要です。一方、Base64エンコードされたファイルは、ceil(n / 3) * 4
の式に従います。
大きなオブジェクトの内容は、デバッグ目的で表示できます。
lo_creat
とBase64を使用する
バイナリデータを保存するために、まずLOIDが作成されます:
状況に応じて正確な制御が必要な場合、Blind SQL Injectionを悪用する際には、固定のLOIDを指定するためにlo_create
が好まれます。
その後、データチャンクを以下のように挿入できます:
大きなオブジェクトをエクスポートして、使用後に削除するには:
lo_import
とHexの使用
lo_import
関数を使用して、大きなオブジェクトのためのLOIDを作成および指定することができます:
以下のオブジェクト作成後、各ページごとにデータが挿入され、各チャンクが2KBを超えないようにします。
プロセスを完了するために、データがエクスポートされ、大きなオブジェクトが削除されます:
制限事項
大きなオブジェクトにはACL(アクセス制御リスト)がある可能性があり、それによりユーザーが作成したオブジェクトへのアクセスが制限されることがあります。ただし、許可の大きなACLを持つ古いオブジェクトは、コンテンツの外部流出に対してまだアクセス可能かもしれません。
Last updated