多部分上传操作
本节介绍 StorageGRID 如何支持多部件上传操作。
以下条件和注释适用于所有多部件上传操作:
-
一个存储分段的并发多部件上传数不应超过 1 , 000 次,因为该存储分段的 List Multipart uploads 查询结果可能会返回不完整的结果。
-
StorageGRID 对多部件部件强制实施 AWS 大小限制。S3 客户端必须遵循以下准则:
-
多部分上传中的每个部分必须介于 5 MiB ( 5 , 242 , 880 字节)和 5 GiB ( 5 , 368 , 709 , 120 字节)之间。
-
最后一部分可以小于 5 MiB ( 5 , 242 , 880 字节)。
-
通常,部件大小应尽可能大。例如,对于 100 GiB 对象,请使用部件大小 5 GiB 。由于每个部件都被视为唯一对象,因此使用较大的部件大小可降低 StorageGRID 元数据开销。
-
对于小于 5 GiB 的对象,请考虑使用非多部分上传。
-
-
如果 ILM 规则使用严格或平衡的载入行为,则会在载入多部分对象时对其每个部分进行评估,并在多部分上传完成后对该对象作为一个整体进行评估。您应了解这会对对象和部件放置产生何种影响:
-
如果在 S3 多部分上传过程中 ILM 发生更改,则在多部分上传完成后,对象的某些部分可能无法满足当前的 ILM 要求。任何放置不正确的部件都会排队等待 ILM 重新评估,并稍后移至正确的位置。
-
在评估某个部件的 ILM 时, StorageGRID 会筛选该部件的大小,而不是对象的大小。这意味着,对象的某些部分可以存储在不满足整个对象的 ILM 要求的位置。例如,如果规则指定所有 10 GB 或更大的对象都存储在 DC1 中,而所有较小的对象存储在 DC2 中,则在载入时, 10 部分多部分上传的每个 1 GB 部分都存储在 DC2 中。在对对象整体进行 ILM 评估时,对象的所有部分都将移至 DC1 。
-
-
所有多部分上传操作均支持 StorageGRID 一致性控制。
-
您可以根据需要对多部分上传使用服务器端加密。要使用SSE (服务器端加密与StorageGRID管理的密钥)、您需要包括
x-amz-server-side-encryption
仅在"启动多部件上传请求"中显示请求标题。要对客户提供的密钥使用 SSI-C (服务器端加密),您可以在 " 启动多部件上传请求 " 和后续的每个 " 上传部件请求 " 中指定相同的三个加密密钥请求标头。
操作 | 实施 |
---|---|
列出多部件上传 |
请参见 "列出多部件上传" |
启动多部件上传 |
请参见 "启动多部件上传" |
上传部件 |
请参见 "上传部件" |
上传部件—复制 |
请参见 "上传部件—复制" |
完成多部件上传 |
请参见 "完成多部件上传" |
中止多部分上传 |
在所有 Amazon S3 REST API 行为下实施 |
列出部件 |
在所有 Amazon S3 REST API 行为下实施 |