S3-Multi-Protokoll-Unterstützung in ONTAP
Ab ONTAP 9.12.1 können Kunden, die das S3-Protokoll ausführen, auf dieselben Daten zugreifen, die Clients zur Verfügung stehen, die die Protokolle NFS und SMB verwenden, ohne dass sie neu formatiert werden müssen. Dank dieser Funktion können NAS-Daten weiterhin an NAS-Clients bereitgestellt werden, während S3-Clients, auf denen S3-Applikationen ausgeführt werden (z. B. Data Mining und künstliche Intelligenz), Objektdaten verfügbar sind.
S3-Multiprotokoll-Funktion unterstützt zwei Anwendungsfälle:
-
Zugriff auf vorhandene NAS-Daten über S3-Clients
Wenn Ihre vorhandenen Daten mithilfe herkömmlicher NAS-Clients (NFS oder SMB) erstellt wurden und sich in NAS Volumes (FlexVol oder FlexGroup Volumes) befinden, können Sie jetzt Analyse-Tools auf S3-Clients für den Zugriff auf diese Daten verwenden.
-
Back-End-Storage für moderne Clients, die I/O mithilfe von NAS- und S3-Protokollen durchführen können
Sie können nun integrierten Zugriff auf Applikationen wie Spark und Kafka bieten, die dieselben Daten unter Verwendung von NAS- und S3-Protokollen lesen und schreiben können.
Funktionsweise der S3-Multi-Protokoll-Unterstützung
Dank der Multiprotokoll-Unterstützung von ONTAP können Sie denselben Datensatz als Dateihierarchie oder als Objekte in einem Bucket präsentieren. Dazu erstellt ONTAP „S3-NAS-Buckets“, mit denen S3-Clients Dateien in NAS-Storage mit S3-Objektanforderungen erstellen, lesen, löschen und aufzählen können. Diese Zuordnung entspricht der NAS-Sicherheitskonfiguration, wobei die Zugriffsberechtigungen für Dateien und Verzeichnisse beachtet werden und ggf. in den Sicherheitsprüfungen geschrieben werden.
Diese Zuordnung wird erreicht, indem eine angegebene NAS-Verzeichnishierarchie als S3-Bucket präsentiert wird. Jede Datei in der Verzeichnishierarchie wird als S3-Objekt dargestellt, dessen Name relativ vom zugeordneten Verzeichnis nach unten ist, wobei die Verzeichnisgrenzen durch das Schrägstrich-Zeichen ('/') dargestellt werden.
ONTAP-definierte S3-Benutzer können auf diesen Storage zugreifen, gemäß den Bucket-Richtlinien, die für den Bucket definiert sind, der dem NAS-Verzeichnis zugeordnet ist. Hierfür müssen zwischen den S3 Benutzern und SMB/NFS Benutzern Zuordnungen definiert werden. Die Zugangsdaten des SMB/NFS-Benutzers werden für die Überprüfung der NAS-Berechtigungen verwendet und in alle Audit-Datensätze aufgenommen, die sich aus diesen Zugriffen ergeben.
Durch SMB- oder NFS-Clients wird eine Datei sofort in einem Verzeichnis abgelegt und somit für Clients sichtbar, bevor sie darauf geschrieben wird. S3-Clients erwarten unterschiedliche Semantik, wobei das neue Objekt erst sichtbar ist, wenn alle Daten geschrieben wurden. Durch diese Zuordnung von S3 zu NAS-Storage werden Dateien mithilfe von S3-Semantik erstellt, sodass die Dateien extern unsichtbar bleiben, bis der S3-Erstellungsbefehl abgeschlossen ist.
Datensicherung für S3 NAS Buckets
S3 NAS „Buckets“ sind einfach die Zuordnung von NAS-Daten für S3-Clients, sie sind keine S3-Standardcontainer. Daher müssen S3 NAS-Buckets nicht mit der NetApp SnapMirror S3 Funktion geschützt werden. Stattdessen können Sie Volumes mit S3-NAS-Buckets mithilfe der asynchronen Volume-Replizierung von SnapMirror schützen. Disaster Recovery für SnapMirror und SVM wird nicht unterstützt.
Ab ONTAP 9.14.1 werden S3 NAS-Buckets in gespiegelten und nicht gespiegelten Aggregaten für MetroCluster IP- und FC-Konfigurationen unterstützt.
Erfahren Sie mehr über "SnapMirror asynchron".
Prüfung für S3-NAS-Buckets
Da es sich bei S3-NAS-Buckets nicht um herkömmliche S3-Buckets handelt, kann das S3-Audit nicht für deren Zugriff konfiguriert werden. Erfahren Sie mehr über "S3-Audit".
Dennoch können die in S3-NAS-Buckets zugeordneten NAS-Dateien und Verzeichnisse mithilfe konventioneller ONTAP-Auditverfahren auf Zugriffsereignisse geprüft werden. S3-Vorgänge können daher NAS-Audit-Ereignisse mit folgenden Ausnahmen auslösen:
-
Wenn der S3-Client-Zugriff über die S3-Richtlinienkonfiguration (Gruppen- oder Bucket-Richtlinie) verweigert wird, wird keine NAS-Prüfung für das Ereignis initiiert. Dies liegt daran, dass S3-Berechtigungen geprüft werden, bevor SVM-Audits durchgeführt werden können.
-
Wenn die Zieldatei einer S3-get-Anforderung 0 Größe hat, wird der Inhalt 0 an die get-Anforderung zurückgegeben und der Lesezugriff wird nicht protokolliert.
-
Wenn sich die Zieldatei einer S3-get-Anforderung in einem Ordner befindet, für den der Benutzer keine Traverse-Berechtigung hat, schlägt der Zugriffsversuch fehl und das Ereignis wird nicht protokolliert.
Erfahren Sie mehr über "Prüfung von NAS-Ereignissen auf SVMs".
Mehrteiliges Objekt-Upload
Ab ONTAP 9.16.1 wird das Hochladen von Objekten in mehrteiligen Teilen unterstützt, wenn "Erweiterter Kapazitätsausgleich" auf FlexGroup Volumes aktiviert ist.
Durch Objekt-Multi-Part-Upload auf NAS File Storage kann ein S3-Protokoll-Client große Objekte in kleineren Teilen hochladen. Das Hochladen von mehrteiligen Objekten bietet folgende Vorteile:
-
Es ermöglicht das parallele Hochladen von Objekten.
-
Bei einem Upload-Fehler oder einer Pause müssen nur die Teile hochgeladen werden, die noch nicht hochgeladen wurden. Der Upload des gesamten Objekts muss nicht neu gestartet werden.
-
Wenn die Objektgröße nicht im Voraus bekannt ist (z. B. wenn ein großes Objekt noch geschrieben wird), können Clients sofort mit dem Hochladen von Teilen des Objekts beginnen und den Upload nach der Erstellung des gesamten Objekts abschließen.
Multipart Upload unterstützt die folgenden S3-Aktionen:
-
AbortMehrteilaUpload
-
CompleteMultipartUpload
-
CreateMultipartUpload
-
ListenMehrpartUpload
S3- und NAS-Interoperabilität
ONTAP S3 NAS Buckets unterstützen NAS- und S3-Standardfunktionen, ausgenommen die hier aufgeführt.
Die NAS-Funktionen werden derzeit von S3 NAS Buckets nicht unterstützt
- FabricPool Kapazitäts-Tier
-
S3 NAS-Buckets können nicht als Kapazitäts-Tier für FabricPool konfiguriert werden.
S3-Funktionen werden derzeit nicht von S3-NAS-Buckets unterstützt
- AWS Benutzer-Metadaten
-
-
Als Teil der S3-Benutzer-Metadaten empfangene Key-Values-Paare werden nicht zusammen mit den Objektdaten in der aktuellen Version auf der Festplatte gespeichert.
-
Anforderungsheader mit dem Präfix „x-amz-meta“ werden ignoriert.
-
- AWS-Tags
-
-
Bei PUT-Objekt- und Multipart-Initiierung von Anforderungen werden Kopfzeilen mit dem Präfix „x-amz-Tagging“ ignoriert.
-
Anfragen zur Aktualisierung von Tags auf einer vorhandenen Datei (d.h. Put-, get- und Delete-Anfragen mit der ?Tagging-Abfragezeichenfolge) werden mit einem Fehler zurückgewiesen.
-
- Versionierung
-
Es ist nicht möglich, die Versionierung in der Bucket-Mapping-Konfiguration anzugeben.
-
Anfragen, die nicht-Null-Versionsangaben (die versionId=xyz query-string) enthalten, erhalten Fehlerantworten.
-
Anfragen, die sich auf den Versionierungsstatus eines Buckets auswirken, werden mit Fehlern abgelehnt.
-