マルチパート アップロードの処理

このセクションでは、StorageGRIDでのマルチパート アップロードの処理のサポートについて説明します。

次の条件と注記は、すべてのマルチパート アップロード処理に適用されます。
  • 1つのバケットに対して同時に実行するマルチパート アップロードが1,000件を超えないようにしてください。1,000件を超えると、そのバケットに対するList Multipart Uploadsのクエリで完全な結果が返されないことがあります。
  • StorageGRIDでは、マルチパートの各パートにAWSのサイズ制限が適用されます。S3クライアントは次のガイドラインに従う必要があります。
    • マルチパート アップロードの各パートのサイズは、5MiB(5,242,880バイト)~5GiB(5,368,709,120バイト)でなければなりません。
    • 最後のパートは5MiB(5,242,880バイト)未満でもかまいません。
    • 一般に、パート サイズはできるだけ大きくする必要があります。たとえば、100GiBのオブジェクトには5GiBのパート サイズを使用します。各パートは固有のオブジェクトとみなされるため、大きなパート サイズを使用すると、StorageGRIDのメタデータのオーバーヘッドが削減されます。
    • 5GiB未満のオブジェクトでは、マルチパートではないアップロードの使用を検討してください。
    注: S3クライアントが最小サイズの制限を満たしていないパートを含むマルチパート アップロードを実行しようとすると、それを検出したStorageGRIDによって「S3 multipart part too small」アラートがトリガーされます。このアラートの詳細については、StorageGRIDの監視とトラブルシューティングの手順を参照してください。
  • ILMルールの取り込み動作がStrictまたはBalancedに指定されている場合は、マルチパート オブジェクトの各パートが取り込まれるときにパートに対してILMが評価され、マルチパート アップロードが完了したときにオブジェクト全体に対してILMが評価されます。この動作がオブジェクトとパートの配置に与える影響に注意する必要があります
    • S3マルチパート アップロードの進行中にILMが変更されると、マルチパート アップロードが完了した時点でオブジェクトの一部のパートが現行のILM要件を満たしていないことがあります。正しく配置されていないパートは、ILM再評価の対象としてキューに登録され、あとで正しい場所に移動されます。
    • パートに対してILMを評価する際、StorageGRIDはオブジェクトのサイズではなくパートのサイズでフィルタリングします。そのため、オブジェクト全体としてはILM要件を満たしていない場所にオブジェクトのパーツが格納される可能性があります。たとえば、10GB以上のオブジェクトをすべてDC1に格納し、それより小さいオブジェクトをすべてDC2に格納するルールの場合、10パートからなるマルチパート アップロードの1GBの各パートは取り込み時にDC2に格納されます。オブジェクト全体に対してILMが評価されると、オブジェクトのすべてのパートがDC1に移動されます。
  • マルチパート アップロードでは、すべての処理でStorageGRIDの整合性制御がサポートされます。
  • マルチパート アップロードでは、必要に応じてサーバ側の暗号化を使用できます。SSE(StorageGRIDで管理されるキーによるサーバ側の暗号化)を使用するには、Initiate Multipart Upload要求のみにx-amz-server-side-encryption要求ヘッダーを指定します。SSE-C(ユーザ指定のキーによるサーバ側の暗号化)を使用する場合は、Initiate Multipart Upload要求と後続の各Upload Part要求に、同じ3つの暗号化キー要求ヘッダーを指定します。
処理 実装
List Multipart Uploads List Multipart Uploadsを参照してください。
Initiate Multipart Upload Initiate Multipart Uploadを参照してください。
Upload Part Upload Partを参照してください。
Upload Part - Copy Upload Part - Copyを参照してください。
Complete Multipart Upload Complete Multipart Uploadを参照してください。
Abort Multipart Upload

Amazon S3 REST APIのすべての動作が実装されています。

List Parts

Amazon S3 REST APIのすべての動作が実装されています。